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Managementsamenvatting 


Hoofdconclusies 

In welke mate heeft de CvAE de doelstellingen zoals geformuleerd in de Toelichting bij het Instellingsbesluit 
behaald? In welke mate draagt de werkwijze van de CvAE bij aan die doelstellingen? 

Doelstelling 1: "Door een snelle, zorgvuldige en laagdrempelige behandeling van klachten bijdragen aan de 
oplossing van aanbestedingsklachten": de klachtenprocedure is zorgvuldig en laagdrempelig en de kwaliteit 
van de adviezen is hoog. In bijna de helft van de gevallen draagt een advies bij aan het oplossen van de 
betreffende aanbestedingsklacht. Een kortere doorlooptijd van de adviezen en vergroting van de bekendheid 
van de Commissie van Aanbestedingsexperts kan de doeltreffendheid vergroten. 

Doelstelling 2: "Een leereffect teweegbrengen bij ondernemingen en aanbestedende diensten": de adviezen 
brengen in beperkte mate een leereffect teweeg bij ondernemingen en aanbestedende diensten. Adviezen 
leiden in veel gevallen niet tot aanpassingen in andere en navolgende aanbestedingsprocedures en 
aanpassingen in het algemene aanbestedingsbeleid van aanbestedende diensten. 

Doelstelling 3: "De professionaliteit van de aanbestedingspraktijk verder verbeteren": de adviezen leveren een 
bijdrage aan de professionalisering van de aanbestedingspraktijk. Deze bijdrage kan verder worden vergroot 
door de inhoud van adviezen beter te ontsluiten en nog meer aandacht te besteden aan het bieden van een 
'concreet handelingsperspectief in de adviezen. 

In hoeverre is de werkwijze van de CvAE doelmatig? 

De Commissie van Aanbestedingsexperts is een organisatie in ontwikkeling. Er zijn verschillende voorzieningen 
getroffen voor een doelmatige taakuitvoering. De doelmatigheid van de taakuitvoering kan nog verder worden 
verbeterd door vaker gebruik te maken van de expertpool en inhoudelijke ondersteuning door het 
secretariaat. 


Inleiding 

Aanleiding en achtergrond 

Sinds 1 april 2013 is in Nederland op opdrachten van (semi-)publieke instellingen de Aanbestedingswet 2012 
van toepassing. Een ondernemer die deelneemt aan aanbestedingsprocedures en daarover ontevreden is, kan 
een klacht indienen bij de Commissie van Aanbestedingsexperts (hierna CvAE). Omgekeerd kunnen 
aanbestedende diensten een klacht indienen over het gedrag van deelnemende ondernemingen. 

In het Instellingsbesluit is opgenomen dat na twee jaar een evaluatie plaatsvindt van de CvAE. 
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Aanpak 

In dit onderzoek is gebruik gemaakt van een gefaseerde aanpak. Allereerst zijn de feiten en cijfers verzameld 
met betrekking tot de taakuitvoering en het bereiken van de doelstelling van de CvAE. Vervolgens zijn de 
percepties (opvattingen) van belanghebbenden verzameld middels een online-enquête onder ondernemers, 
aanbestedende diensten en andere betrokkenen (981 respondenten), verdiepende interviews en een drietal 
casestudies. De feiten, cijfers en percepties zijn door KWINK groep geanalyseerd en hebben de basis gevormd 
voor de bevindingen. Het onderzoek is uitgevoerd in de periode december 2014 - april 2015. 

Onderzoeksvragen 

In het onderzoek wordt een antwoord gegeven op twee hoofdvragen: 

1. Doeltreffendheid: In welke mate heeft de CvAE de doelstellingen zoals geformuleerd in de Toelichting bij 
het Instellingsbesluit behaald? In welke mate draagt de werkwijze van de CvAE bij aan die doelstellingen? 

2. Doelmatige taakuitvoering: In hoeverre is de werkwijze van de CvAE doelmatig? 


Doeltreffendheid 

De doelstelling van de Commissie van Aanbestedingsexperts is drieledig. 

1. Door een snelle, zorgvuldige en laagdrempelige behandeling van klachten bijdragen aan de oplossing van 
aanbestedingsklachten; 

2. Een leereffect teweegbrengen bij ondernemingen en aanbestedende diensten; 

3. De professionaliteit van de aanbestedingspraktijk verder verbeteren. De CvAE kan bemiddelen tussen 
partijen en niet-bindende adviezen geven naar aanleiding van klachten. 

De Commissie van Aanbestedingsexperts vormt een aanvulling op andere mogelijkheden om 
aanbestedingsklachten in te dienen. 

Sinds de instelling van de CvAE op 1 april 2013 tot 1 januari 2015 zijn er 163 klachten ingediend. Het aantal per 
maand ingediende klachten is in 2014 gestegen in vergelijking met 2013. Met name het Midden- en 
Kleinbedrijf (MKB) dient klachten in bij de CvAE. Klachten hebben voornamelijk betrekking op 
rechtmatigheidsaspecten van aanbestedingsprocedures en nauwelijks op doelmatigheidsaspecten. Een 
meerderheid van de respondenten (67%) is van mening dat de CvAE een aanvulling vormt op andere 
mogelijkheden om een aanbestedingsklacht in te dienen. 

In bijna de helft van de gevallen draagt een advies van de Commissie bij aan het oplossen van de 
betreffende aanbestedingsklacht. 

46% van de respondenten (die betrokken zijn geweest bij een klacht) geeft in de enquête aan dat een advies 
van de CvAE heeft bijgedragen aan het oplossen van een aanbestedingsklacht en 39% is het daarmee oneens. 
Sommige gesprekspartners geven aan dat adviezen serieus worden genomen door de rechter en daarmee niet 
te negeren zijn. Gesprekspartners geven ook aan dat aanbestedende diensten in sommige gevallen andere 
(financiële en politieke) belangen (moeten) laten prevaleren boven het opvolgen van het advies van de CvAE. 
Bovendien komen de adviezen soms te laat om van invloed te zijn op de aanbestedingsprocedure. Een 
mogelijke verklaring voor de uiteenlopende opvattingen is dat gesprekspartners de doelstelling van de CvAE 
om een 'bijdrage' te leveren aan het 'oplossen' van aanbestedingsklachten verschillend interpreteren. 

Tot slot is een aantal ondernemers en experts zijn van mening dat de CvAE vaker kan bijdragen aan wederzijds 
begrip tussen klager en wederpartij door meer gebruik te maken van de mogelijkheid om te bemiddelen in 
plaats van te adviseren. 
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De klachtenprocedure is laagdrempelig en zorgvuldig en de kwaliteit van de adviezen is hoog. 

Respondenten en gesprekspartners zijn vrijwel zonder uitzondering positief over de zorgvuldigheid van de 
klachtenprocedure, de kwaliteit van de adviezen, de laagdrempeligheid van de klachtenprocedure en de 
deskundigheid van de leden van de CvAE. Illustratief Is dat het overgrote deel van de respondenten die eerder 
een klacht hebben ingediend bij de CvAE, heeft aangegeven in het geval van een klacht opnieuw gebruik te 
zullen maken van de mogelijkheid tot het Indienen van een klacht bij de CvAE (dit geldt overigens ook voor 
respondenten waarvan een eerdere klacht niet in behandeling is genomen). 

Een kortere doorlooptijd van de adviezen kan de doeltreffendheid van de Commissie van 
Aanbestedingsexperts vergroten. 

De CvAE heeft voor het uitbrengen van een advies vaak meer tijd nodig dan er tijd beschikbaar is in de 
aanbestedingsprocedure waar de klacht betrekking op heeft. Aanbestedende diensten kunnen of willen de 
termijnen niet altijd verlengen In afwachting van een advies. Hierdoor kan de situatie ontstaan dat een advies 
pas beschikbaar komt wanneer reeds een onomkeerbare beslissing (definitieve gunningsbeslissing) is 
genomen. In deze gevallen komt het advies van de CvAE dus te laat om nog van Invloed te zijn op de 
betreffende aanbestedingsprocedure. 

Een derde van ondernemers is goed bekend met de Commissie van Aanbestedingsexperts. 

30% van de geënquêteerde ondernemers is goed bekend met de mogelijkheid om een klacht in te dienen bij 
de CvAE. 44% is beperkt bekend met die mogelijkheid. Onder het MKB met minder dan 50 werknemers is 19% 
goed bekend en 44% beperkt bekend. Juist voor het MKB vormt de CvAE een laagdrempelig alternatief voor 
een gerechtelijke procedure. Voorts blijkt dat de CvAE de bekendheid van haar adviezen onder aanbestedende 
diensten en ondernemers verder kan vergroten, om zodoende een grotere bijdrage te leveren aan de 
professionalisering van de aanbestedingspraktijk. 

De adviezen van de Commissie van Aanbestedingsexperts brengen in beperkte mate een leereffect teweeg 
bij ondernemingen en aanbestedende diensten. De adviezen leveren wél een bijdrage aan de 
professionalisering van de aanbestedingspraktijk. 

Adviezen leiden in veel gevallen niet tot aanpassing van de betreffende aanbestedingsprocedure en 
aanpassing van het algemene aanbestedingsbeleid van de betrokken aanbestedende dienst. Ook het leereffect 
in andere en navolgende procedures is beperkt. Respondenten en gesprekspartners zijn wél positief over de 
bijdrage van de CvAE aan de verbetering van de aanbestedingspraktijk. Zo wordt genoemd dat de adviezen 
van de CvAE aanbestedende diensten en grote bedrijven hebben geholpen bij de interpretatie van de 
Aanbestedingswet 2012 en dat inkopers bij aanbestedende diensten hun kennis vergroten met de adviezen 
(zonder dat dit direct leidt tot wijziging van de procedures). Een kanttekening is dat de opvattingen van 
respondenten en gesprekspartners op dit onderwerp afhankelijk zijn van de interpretatie van de begrippen 
'leereffect' en 'professionalisering', aangezien de doelstelling van de CvAE op deze onderwerpen niet is 
geoperationaliseerd. 

De CvAE besteedt op basis van eerdere kritiek van belanghebbenden steeds meer aandacht aan het bieden 
van een 'concreet handelingsperspectief' in adviezen. Gesprekspartners zouden graag zien dat deze 
ontwikkeling doorzet en dat de CvAE naast de (juridisch ingestoken) oordelen nog meer aandacht besteedt 
aan (praktische) aanbevelingen. 
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Doelmatige taakuitvoering 


De Commissie van Aanbestedingsexperts is een organisatie in ontwikkeling. Er zijn verschillende 
voorzieningen getroffen voor een doelmatige taakuitvoering. 

Bij het instellen van de CvAE was beperkt vergelijkingsmateriaal beschikbaar. Daarom is gekozen voor een 
lichte inrichting, bestaande uit twee parttime commissieleden, een pool van experts en het faciliteren van het 
secretariaat vanuit een bestaande organisatie met kennis van aanbestedingen (PIANOo). De CvAE beschrijft de 
beginperiode zelf als een 'greenfield operation', waarbij op basis van voortschrijdend inzicht gaandeweg 
nieuwe keuzes zijn gemaakt. De meeste gesprekspartners ervaren de werkwijze van de CvAE als doelmatig en 
benadrukken dat de leden veel werk verzetten in de beperkt beschikbare tijd. 

Er zijn verschillende voorzieningen getroffen om doelmatig te opereren. Zo maakt de CvAE onderscheid tussen 
klachten met een niet-kritieke termijn en klachten met een kritieke termijn. Prioritering vindt plaats door 
klachten met een kritieke termijn, waarbij het advies van de CvAE nog invloed kan hebben op het verloop van 
de aanbestedingsprocedure, met voorrang te behandelen. Ook is er tijdelijk extra ondersteuning aan de CvAE 
toegevoegd om achterstanden weg te werken. Tot slot zijn er verschillende voorzieningen getroffen om de 
onafhankelijkheid te borgen. 

Er zijn verschillende suggesties gedaan om de Commissie van Aanbestedingsexperts verder te 
professionaliseren. 

Om de capaciteit van de CvAE te vergroten en de doorlooptijden te verkorten, kan de CvAE meer gebruik 
maken van de pool van 86 experts. Een andere mogelijkheid is de capaciteit van het secretariaat te vergroten, 
zodat het secretariaat een grotere rol kan spelen bij de inhoudelijke voorbereiding van adviezen. Tot slot kan 
de organisatie geprofessionaliseerd worden door de administratieve systemen te verbeteren en voorzieningen 
op het gebied van onafhankelijkheid en prioritering beter vast te leggen. 
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1. Inleiding 


De Commissie van Aanbestedingsexperts is ingesteld per 1 april 2013 (gelijktijdig met de 
inwerkingtreding van de Aanbestedingswet 2012). In het Instellingsbesluit^ is opgenomen dat na 
twee jaar een evaluatie plaatsvindt. Het Ministerie van Economische Zaken (hierna: EZ) heeft KWINK 
groep opdracht gegeven dit onderzoek uit te voeren. In dit hoofdstuk geven we eerst een korte 
introductie op de Commissie van Aanbestedingsexperts. Vervolgens behandelen we de doel- en 
vraagstelling en beschrijven onze aanpak. We sluiten af met een leeswijzer. 


1.1. De Commissie van Aanbestedingsexperts 

Sinds 1 april 2013 is in Nederland op alle (overheids)opdrachten van (semi-)publieke instellingen en speciale 
sectoren en op concessies van werken de Aanbestedingswet 2012 (hierna: Aanbestedingswet) van toepassing. 
Een ondernemer die deelneemt aan aanbestedingsprocedures en daarover ontevreden is, kan een klacht 
indienen bij de Commissie van Aanbestedingsexperts (hierna: CvAE). Omgekeerd kunnen aanbestedende 
diensten klagen over het gedrag van deelnemende ondernemingen. 

Doelstelling. Het doel van de CvAE is door een snelle, zorgvuldige en laagdrempelige behandeling van klachten 
bij te dragen aan de oplossing van aanbestedingsklachten. Daarnaast is het doel van de CvAE om de 
professionaliteit van de aanbestedingspraktijk verder te verbeteren en een leereffect teweeg te brengen bij 
ondernemingen en aanbestedende diensten.^' ^ 

Taken. Volgens het Instellingsbesluit is de taak van de CvAE: het bemiddelen tussen partijen naar aanleiding 
van klachten en het geven van niet-bindende adviezen naar aanleiding van klachten. 

Bevoegdheden. De CvAE heeft geen formele bevoegdheden bij het behandelen van aanbestedingsklachten. Zo 
vormt de CvAE geen extra rechtsgang en is een advies van de CvAE niet-bindend.'' Ook heeft de CvAE niet de 
bevoegdheid om een aanbestedingsprocedure stil te leggen.® 

Samenstelling. De CvAE bestaat sinds 1 april 2013 uit een voorzitter en een vicevoorzitter. De heer Mr. J. G. J. 
Janssen vervult de rol van voorzitter en de heer Prof. Mr. C. E. C. Jansen vervult de rol van vicevoorzitter. Per 1 
april 2015 is de heer Mr. drs. Tsong Ho Chen als derde lid aan de Commissie toegevoegd.® De CvAE laat zich 


^ Besluit van de Minister van Economische Zaken van 4 maart 2013, nr. WJZ / 3008668, tot instelling van de Commissie van 
Aanbestedingsexperts (Instellingsbesluit Commissie van Aanbestedingsexperts). 

^ Besluit van de Minister van Economische Zaken van 4 maart 2013, nr. WJZ / 3008668, tot instelling van de Commissie van 
Aanbestedingsexperts (Instellingsbesluit Commissie van Aanbestedingsexperts). 

^ Wanneer we spreken van aanbestedende diensten verstaan we hieronder zowel aanbestedende diensten als speciale-sectorbedrijven 
(tenzij anders aangegeven). 

* Klachtafhandeling door de CvAE functioneert naast andere mogelijkheden zoals een gang naar de rechter. Bij klachten over 
aanbestedingen is een gang naar de rechter onverkort mogelijk. De rechter is niet gebonden aan het advies van de CvAE. Hij kan het 
advies meewegen en hiervan al dan niet afwijken. 

^ Advies klachtenafhandeling bij Aanbesteden (2013). http://www.riiksoverheid.nl/documenten-en- 
publicaties/regelingen/2013/03/07/klachtafhandeling-bii-aanbesteden.html . 

® De dataverzameling en de consultatie voor dit onderzoek hebben plaatsgevonden in januari - februari 2015, voorafgaand aan de 
aanstelling van de heer Mr. drs. Tsong Ho Chen. 
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bijstaan door een secretariaat, maar kan zich bij de behandeling van een klacht ook laten bijstaan door haar 
experts. De experts zijn door de CvAE geselecteerd. De CvAE heeft een pool van 86 experts. 


1 . 2 . Doel- en vraagstelling 

In dit evaluatieonderzoek wordt een antwoord gegeven op twee hoofdvragen: 

1. Doeltreffendheid: In welke mate heeft de CvAE de doelstellingen zoals geformuleerd in de Toelichting 
bij het Instellingsbesluit behaald? In welke mate draagt de werkwijze van de CvAE bij aan die 
doelstellingen? 

2. Doelmatige taakuitvoering: In hoeverre is de werkwijze van de CvAE doelmatig? 

1.3. Onderzoeksmodel 

In deze evaluatie wordt gebruik gemaakt van het volgende onderzoeksmodel: 

• Doel : De doelstellingen en taken van de CvAE uit (de toelichting bij) het Instellingsbesluit vormen het 
startpunt voor dit onderzoek. Naast de formele doelstellingen en taken, kijken we ook naar de 
interpretatie van deze doelstellingen door de CvAE en de verwachtingen van doelgroepen over de 
taken van de CvAE. 

• Input: Om uitvoering te geven aan haar taken heeft de CvAE de beschikking over mensen, middelen en 
bevoegdheden. 

• Throughput : De throughput gaat in op hoe processen en activiteiten zijn vormgegeven bij de 
behandeling van klachten. Hierbij gaat het om de positionering en de toegankelijkheid van de CvAE en 
de zorgvuldigheid van de klachtenbehandeling 

• Output: Onder output worden de resultaten en prestaties die voortvloeien uit de behandeling van 
klachten door de CvAE verstaan. We kijken naar de bekendheid van de CvAE en haar adviezen. Verder 
worden de doorlooptijden en efficiëntie van de behandeling van de klachten geëvalueerd. 

• Outcome: De outcome gaat over (de percepties over) de mate waarin de doelstellingen van de CvAE 
zijn gerealiseerd en in hoeverre de werkwijze van de CvAE daaraan heeft bijgedragen. 

1.4. Onderzoeksaanpak 

In dit onderzoek is gebruik gemaakt van een gefaseerde aanpak: 

• We zijn gestart met een zelfevaluatie. We hebben de CvAE in een zelfevaluatie laten reflecteren op het 
eigen functioneren op basis van reeds verzamelde feiten en cijfers. 

• De volgende fase bevatte vier sub-fasen, namelijk een documentenanalyse, een online-enquête, 
(telefonische) interviews en het bestuderen van verschillende cases. 

o Documentenanalyse. Er zijn zowel interne als externe documenten verzameld en geanalyseerd over 
de CvAE zoals kamerstukken, rapporten en gegevens over klachten, 
o Online-enquête. In de enquête zijn ondernemers, aanbestedende diensten, experts, 

brancheorganisaties en adviseurs/juristen gevraagd naar hun ervaringen met de CvAE. In totaal zijn 
er 981 respondenten geweest waarbij 438 ondernemers en 365 aanbestedende diensten hebben 
gereageerd. Meer informatie over de enquêteresultaten is te vinden in bijlage 1. 
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o Interviews. Om een beeld te vormen over het functioneren van de CvAE zijn 11 gesprekken gevoerd 
met vier typen belanghebbenden, namelijk de CvAE, direct betrokkenen zoals het Ministerie van EZ, 
niet direct betrokkenen zoals brancheorganisaties en derden zoals wetenschappers en advocaten. 
Een lijst met gesprekspartners is terug te vinden in bijlage 3. 
o Casestudies. Er zijn drie behandelde klachten meer diepgaand bestudeerd om een zo goed mogelijk 
beeld van de werkwijze van de CvAE te verkrijgen. Gesprekken zijn gevoerd met de klagers, 
beklaagden en een expert. De selectiecriteria van de cases zijn te vinden in bijlage 2. 

• Als laatste zijn de tussenresultaten besproken met de CvAE. De tussenresultaten zijn daarna getoetst bij 
de begeleidingscommissie die is ingesteld door het Ministerie van EZ. Een lijst met de leden van de 
begeleidingscommissie te vinden in bijlage 4. 

Het onderzoek is uitgevoerd tussen december 2014 en april 2015. 


1.5. Leeswijzer 

Het rapport is opgebouwd aan de hand van de vijf onderdelen van het onderzoeksmodel. In elk hoofdstuk zijn 
onze bevindingen onderbouwd met feiten en percepties. Hoofdstuk 2 gaat in op het doel van de CvAE. In 
hoofdstuk 3 wordt de input (mensen, middelen, bevoegdheden) besproken. Hoofdstuk 4 gaat in op de 
werkwijze van de CvAE (throughput). Hoofdstuk 5 bespreekt de output (resultaten) van de CvAE. De outcome 
(effecten) wordt omschreven in hoofdstuk 6. Tot slot zijn in hoofdstuk 7 de conclusies opgenomen. 

Bijlage 1 bevat de enquêteresultaten. In bijlage 2 wordt de casusselectie besproken en bijlage 3 bevat een 
overzicht van de gesprekspartners. In de laatste bijlage (4) is een overzicht opgenomen van de leden van de 
begeleidingscommissie. 
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2. Doelstelling 


In dit hoofdstuk beschrijven we de bevindingen ten aanzien van de doelstelling van de Commissie 
van Aanbestedingsexperts. De bevindingen in dit hoofdstuk zijn tot stand gekomen op grond van 
feitelijke informatie uit documenten en percepties van gesprekspartners. Over dit onderdeel zijn 
geen vragen opgenomen in de enquête. 

Bevinding 1. in de Toeiichting op het insteiiingsbesiuit is een drieiedige doeisteiiing uitgewerkt. De 
Commissie van Aanbestedingsexperts interpreteert de eerste doeisteiiing uit de Toeiichting ais primair en de 
tweede en derde doeisteiiing ais secundair. 

Doelstelling zoals omschreven 

Artikel 2 van het Instellingsbesluit omschrijft de taak van de CvAE als volgt: "De Commissie heeft tot taak: het 
bemiddelen tussen partijen naar aanleiding van klachten; het geven van niet bindende-adviezen naar 
aanleiding van klachten". 

In de Toelichting bij het Instellingsbesluit is de doelstelling als volgt omschreven: "Het doel van de CvAE is door 
een snelle, zorgvuldige en laagdrempelige behandeling van klachten bij te dragen aan de oplossing van 
aanbestedingsklachten. Daarnaast is het doel van de CvAE om de professionaliteit van de 
aanbestedingspraktijk verder te verbeteren en een leereffect teweeg te brengen bij ondernemingen en 
aanbestedende diensten"^. 

De CvAE heeft haar werkwijze - conform artikel 6 van het Instellingsbesluit - schriftelijk vastgelegd in een 
reglement. De drieledige doelstelling, zoals geformuleerd in de Toelichting bij het Instellingsbesluit, wordt 
herhaald in het Reglement Commissie van Aanbestedingsexperts.® 

Interpretatie van de doelstelling 

Gesprekspartners (inclusief de CvAE) geven aan dat bij de instelling van de CvAE niet is afgesproken hoe de 
drie doelstellingen zich tot elkaar verhouden. In de praktijk ervaren gesprekspartners en de CvAE een 
onderscheid tussen de primaire- en afgeleide doelstellingen: 

• De primaire doelstelling is volgens de CvAE om snel, zorgvuldig en laagdrempelig 
aanbestedingsklachten te behandelen en daarmee bij te dragen aan het oplossen van die klachten. 

• De schriftelijke adviezen naar aanleiding van het behandelen van aanbestedingsklachten kunnen een 
leereffect teweegbrengen bij de doelgroepen van de CvAE (afgeleide doelstelling). 

• Het professionaliseren van de aanbestedingspraktijk kan worden gezien als een concretisering van het 
leereffect (afgeleide doelstelling). 

Gesprekspartners ervaren dat de CvAE primair aandacht besteedt aan het oplossen van klachten en het 
leereffect en de professionalisering als afgeleiden beschouwt die minder prioritair zijn.® Een van de 
argumenten van de CvAE voor deze keuze is dat zij bij de tweede en de derde doelstelling niet kan vaststellen 


^ Documenten waarin de doelstelling wordt omschreven zijn Schrijfgroep (2013). Klachtafhandeling bij aanbesteden, Toelichting bij 
Instellingsbesluit en Reglement Commissie van Aanbestedingsexperts. 

® Reglement Commissie van Aanbestedingsexperts (versie d.d.01-04-2013). http://www.commissievanaanbestedingsexperts.nl/indienen- 
klacht/reglement-commissie-van-aanbestedingsexperts . 

® De enquêteresultaten met de percepties over de mate waarin de doelstellingen professionalisering en leereffect zijn behaald staan in 
paragraaf 6.2. 
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in hoeverre de doelstellingen zijn bereikt, waardoor het lastig is om bij te sturen. De meeste gesprekspartners 
kunnen zich goed vinden in de keuze van de CvAE. 

Bevinding 2. Een doei van de Commissie van Aanbestedingsexperts is om bij te dragen aan het opiossen van 
kiachten. Veei ondernemers hebben echter de verwachting dat de Commissie van Aanbestedingsexperts 
kiachten daadwerkeiijk opiost. 

Uit gesprekken met ondernemers en aanbestedende diensten blijkt dat vaak de verwachting bestaat dat de 
CvAE de klacht daadwerkelijk oplost. Met name ondernemers zien het oplossen van aanbestedingsklachten als 
taak van de CvAE. 

De CvAE onderscheidt in een reactie het behandelen van klachten en het daadwerkelijk oplossen van klachten. 
De meeste geraadpleegde wetenschappelijke experts sluiten zich bij dit onderscheid aan. Het behandelen valt 
binnen de (directe) invloedssfeer van de CvAE. Gegeven het niet-bindende karakter van de adviezen ligt het 
daadwerkelijk oplossen van aanbestedingsklachten meestal buiten de directe invloedssfeer van de CvAE. Een 
eerste reden hiervoor is dat wanneer een ondernemer een klacht heeft ingediend en de CvAE een oordeel 
over de gegrondheid van die klacht geeft, het uiteindelijk aan de aanbestedende dienst is om iets met dat 
oordeel te doen. Een tweede reden is dat de oplossing niet alleen afhankelijk is van de bereidwilligheid van de 
aanbestedende dienst, maar ook van andere omstandigheden. Een voorbeeld daarvan is tijdgebrek door de 
(beperkte) termijn waarbinnen de aanbestedende dienst over het resultaat van de aanbesteding dient te 
beschikken. 

Bevinding 3. Het is onduideiijk wat er van de Commissie van Aanbestedingsexperts wordt verwacht op de 
tweede en de derde doeisteiiing (professionaiisering en ieereffect). 

In de Toelichting op het Instellingsbesluit wordt geen definitie gegeven van de begrippen 'professionalisering' 
en 'leereffect'. Ook in het Reglement van de CvAE zijn deze begrippen niet nader uitgewerkt. Gesprekspartners 
geven een verschillende interpretatie aan deze begrippen en hebben daardoor verschillende verwachtingen 
van de wijze waarop de CvAE daar invulling aan kan geven. 

Sommige gesprekspartners interpreteren de doelstelling van de CvAE om een bijdrage te leveren aan de 
professionalisering en het leereffect als een logisch uitvloeisel van het geven van adviezen. Aangegeven wordt 
dat het aanbieden van opleidingen en het stimuleren van samenwerking, activiteiten zijn die beter passen bij 
het professionaliseren van de aanbestedingspraktijk. Deze taken passen echter niet bij de rol van de CvAE. 

Andere gesprekspartners zien een grotere verantwoordelijkheid voor de CvAE waar het gaat om 
professionalisering. Bijvoorbeeld door in de adviezen een concreet handelingsperspectief te bieden, door het 
juridische oordeel te combineren met een meer inkoopinhoudelijk advies en door adviezen actief te 
communiceren naar 'leken'. 

Tot slot zijn sommige gesprekspartners kritisch over de gekozen naam van de CvAE en de gehanteerde 
terminologie. Uit een groepsgesprek met vertegenwoordigers van de brancheorganisaties blijkt dat dit bij 
sommige ondernemers associaties oproept die niet passen bij de rol en de activiteiten van de CvAE. 
'Commissie' roept volgens deze gesprekspartners associaties op met een vraagbaak (loket) en past niet bij een 
orgaan dat zwaarwegende adviezen geeft. 'Aanbestedingsexperts' roept bij gesprekspartners associaties op 
met generieke aanbestedingsadviseurs. Ook geeft een aantal gesprekspartners aan dat termen als 
behandelen, afhandelen en oplossen in het Instellingsbesluit en het Reglement door elkaar worden gebruikt, 
wat leidt tot misverstanden over de functie en bevoegdheden van de CvAE. 


KWINK 


GROEP 


12 



3. Input 


De Commissie van Aanbestedingsexperts heeft tot taak om naar aanleiding van klachten te 
bemiddelen of niet-bindende adviezen te geven. Voor het uitvoeren van deze taak heeft de 
Commissie van Aanbestedingsexperts mensen en middelen beschikbaar. Daarnaast zijn ook de 
bevoegdheden van de Commissie van Aanbestedingsexperts bepalend voor de wijze waarop zij 
invulling kan geven aan haar taak. 

In dit hoofdstuk presenteren we onze bevindingen en onderliggende feiten en percepties ten 
aanzien van de deskundigheid, bevoegdheden, onafhankelijkheid en doelmatigheid van de 
Commissie van Aanbestedingsexperts. We beoordelen de doelmatigheid op hoofdlijnen. “ 


3.1. Deskundigheid en onafhankelijkheid 


Mensen 

De CvAE bestond tussen 1 april 2013 tot 1 april 2015^^ uit een voorzitter en een vicevoorzitter die zich laten 
bijstaan door een secretariaat en een aantal experts: 

• De inzet van de voorzitter en vicevoorzitter van de CvAE is begroot op 10-12 uur per week per persoon. 

• Vanuit PIANOo, Expertisecentrum Aanbesteden^^ ontvangen de voorzitter en vicevoorzitter 
ondersteuning in de vorm van een ambtelijk-inhoudelijk secretariaat (36 uur per week) en een 
administratief secretariaat (26 uur per week). Het budget voor het voeren van het secretariaat door 
PIANOo is door het Ministerie van EZ begroot op €210.000 per jaar.^^ 

• De CvAE heeft de mogelijkheid om gebruik te maken van een pool van 86 experts bij het behandelen 
van aanbestedingsklachten. Wanneer een expert wordt ingezet mag deze, behoudens bij bewerkelijke 
of gecompliceerde klachten, in beginsel maximaal 5 uur aan de klacht besteden.^'* De experts zijn door 
de CvAE geselecteerd als Commissie Expert of Branche Expert. Commissie Experts zijn geselecteerd op 
grond van brede ervaring, kennis en deskundigheid (inkoopexpertise en/of aanbestedingsrecht). 
Branche Experts zijn geselecteerd op grond van hun branche specifieke ervaring, kennis en 
deskundigheid. De experts verrichten hun activiteiten op persoonlijke titel. 


“ We hebben in het licht van doelmatigheid niet bij elke besteding of inzet van fte's onderzocht of dat goedkoper had gekund en of dat 
het geld niet beter anders ingezet had kunnen worden. We hebben in de gesprekken met de CvAE en het Ministerie van EZ gezocht naar 
waarborgen en voorzieningen voor een doelmatige werkwijze en inzet van fte's en budget. Op basis hiervan kunnen we de doelmatigheid 
op hoofdlijnen beoordelen. 

“ Per 1 april 2015 is de heer mr. drs. Tsong Ho Chen als derde lid aan de Commissie toegevoegd. Zijn aanstelling valt buiten de scope van 
deze evaluatie. 

Onderdeel van het Ministerie van EZ. Website: http://www.pianoo.nl/ . 

Kamerbrief Evaluatie PIANOo en tweede rapportage aanbestedingsambassadeur. Kenmerk: ETM/MC / 11137382. 4 november 2011. 

“ Uit een voorbeeldovereenkomst met het Ministerie van EZ blijkt dat de vergoeding voor experts €50,00 per uur is met een maximum 
van €250,00 per (deel)klacbt, inclusief BTW, (eventuele) reis- en verblijfkosten, en overige kosten. Bij bewerkelijke of gecompliceerde 
klachten heeft de voorzitter van de CvAE de mogelijkheid om meer dan 5 uur te vergoeden. 
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Middelen 

Naast personele ondersteuning ontvangt de CvAE ook technologische ondersteuning in de vorm van een web- 
based klachtenregistratie- en volgsysteem. De technologische ondersteuning wordt eveneens verzorgd vanuit 
PIANOo. 

Ontwikkeling van de organisatie 

De CvAE is per 1 april 2013 van start gegaan. Verschillende betrokken gesprekspartners benadrukken dat de 
organisatie in ontwikkeling is. Bij het instellen van de CvAE was beperkt vergelijkingsmateriaal beschikbaar, 
was er weinig tijd om de organisatie in te richten en was nog niet bekend hoeveel klachten er zouden 
binnenkomen en welke ondersteuning dat zou vergen. Om deze reden is gekozen voor een lichte inrichting 
bestaande uit twee parttime commissieleden en een pool van experts en het faciliteren van het secretariaat 
vanuit een bestaande organisatie met kennis van aanbestedingen (PIANOo). De CvAE beschrijft de 
beginperiode als een 'greenfield operation', waarbij op basis van voortschrijdend inzicht nieuwe keuzes 
werden gemaakt (dit beeld wordt bevestigd in andere gesprekken). Een voorbeeld van een tussentijdse 
aanpassing is de langdurige, maar tijdelijke ondersteuning door een expert om opgelopen achterstanden weg 
te werken. De CvAE zit thans in een transitie van een pilotopzet naar een goed draaiende organisatie. Zo is de 
beslissing genomen de CvAE uit te breiden met een (derde) Commissielid. Per 1 april 2015 is de heer mr. drs. 
Tsong Ho Chen als derde lid aan de Commissie toegevoegd. 

Bevinding 4. De Commissie van Aanbestedingsexperts wordt gezien ais een deskundig orgaan voor het 
behandeien van aanbestedingskiachten. De geseiecteerde experts worden gezien ais gezaghebbend. 

Deskundigheid van de Commissie van Aanbestedingsexperts 

Zowel respondenten van aanbestedende diensten als ondernemers oordelen positief over de deskundigheid 
van de CvAE. Overall ziet 54% van de respondenten de CvAE als een deskundig orgaan voor de behandeling 
van aanbestedingsklachten. In figuur 1 zijn de resultaten uitgesplitst naar respondenten die betrokken zijn 
geweest bij de behandeling van een klacht door de CvAE en respondenten die niet betrokken zijn geweest. 
Hieruit blijkt dat betrokkenen positiever oordelen over de deskundigheid (72% eens) dan respondenten die 
niet betrokken zijn geweest bij de behandeling van een klacht (49% eens). 
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De CvAE is een deskundig orgaan voor de behandeiing van aanbestedingskiachten 


5% 

27% 

46% 

13% 

7% 


2 % 


Betrokken 



■ Weet ik niet 

■ Zeer Eens 

■ Eens 

■ Niet oneens/niet eens 

■ Oneens 

■ Zeer oneens 


Figuur 1. Stelling: de CvAE is een deskundig orgaan voor de behandeling van aanbestedingsklachten (Betrokken N = 171, niet betrokken N 
= 660). 


http://www.commissievanaanbestedingsexperts.nl/ . 
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Het positieve beeld uit de enquêteresultaten wordt in gesprekken onderschreven. Alle gesprekspartners zijn 
van mening dat de CvAE een deskundig orgaan is om aanbestedingsklachten te behandelen. 

• Gesprekspartners vinden het juridische profiel van de voorzitter en vicevoorzitter waardevol. In veel 
gesprekken wordt benadrukt dat de juridische expertise van de CvAE boven alle twijfel verheven is. 
Gesprekspartners baseren dit oordeel met name op de kwaliteit van de adviezen van de CvAE. 

• Een aantal gesprekspartners geeft aan dat de juridische expertise van de CvAE aangevuld zou kunnen 
worden met praktijkkennis over inkopen. Inkoopexpertise kan ingezet kan worden om het (juridische) 
advies van de CvAE te vertalen naar praktisch toepasbare aanbevelingen. Genoemd wordt dat door het 
bieden van een concreter handelingsperspectief het leereffect bij aanbestedende diensten verder 
vergroot kan worden. Overigens wordt erkend dat de CvAE eerdere kritiek op dit punt ter harte heeft 
genomen en hier al meer aandacht aan besteedt. 

Gezaghebbendheid van de experts 

Ook de door de CvAE geselecteerde aanbestedingsexperts worden door de respondenten gezaghebbend 
bevonden. Overall vindt 41% van de respondenten de experts gezaghebbend. Slechts 5% van de respondenten 
is het (zeer) oneens met deze stelling. Een uitsplitsing naar type respondent laat zien dat aanbestedende 
diensten positiever oordelen over de gezaghebbendheid van de experts dan ondernemers. 45% van de 
aanbestedende diensten vindt de experts (zeer) gezaghebbend tegenover 28% van de ondernemers (figuur 2). 
Een mogelijke verklaring hiervoor is dat aanbestedende diensten bekender zijn met de werkwijze en de 
adviezen van de CvAE. Zodoende kunnen zij de bijdrage van de experts mogelijk beter op waarde schatten. 
Ondernemers hebben bij deze vraag vaker 'weet ik niet' ingevuld. 


De door de CvAE geselecteerde experts zijn gezaghebbend 
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Figuur 2. Steliing: de door de CvAE geseiecteerde aanbestedingsexperts zijn gezaghebbend (Ondernemers N = 323, aanbestedende 
diensten N = 341). 


In figuur 3 zijn de resultaten uitgesplitst naar respondenten die betrokken zijn geweest bij de behandeling van 
een klacht door de CvAE en respondenten die niet betrokken zijn geweest. Hieruit blijkt dat betrokkenen 
positiever oordelen over de gezaghebbendheid van de experts (49% eens) dan respondenten die niet 
betrokken zijn geweest bij de behandeling van een klacht (39% eens). 
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Figuur 3. Stelling: de door de CvAE geselecteerde aanbestedingsexperts zijn gezaghebbend (Betrokken N = 171, niet betrokken N = 660). 

Bevinding 5. De Commissie van Aanbestedingsexperts heeft verschiiiende voorzieningen getroffen om haar 
onafhankeiijkheid te borgen. Niet aiie voorzieningen zijn expiiciet geborgd in de organisatie. 

In het Instellingsbesluit en het Reglement^® staat dat de CvAE een onpartijdige en onafhankelijke commissie op 
het gebied van aanbestedingen is. Dit betekent dat bij de behandeling van klachten de leden onafhankelijk en 
onpartijdig zijn ten opzichte van de ingediende klacht en de partijen die het betreft. Het lid dat een klacht 
behandelt, mag dus zelf geen belangen hebben in die zaak, of te zeer betrokken zijn bij een van de partijen in 
die zaak. Ook moet de schijn van belangenverstrengeling of betrokkenheid worden voorkomen. Hetzelfde 
geldt voor experts ten aanzien van hun werkzaamheden voor de CvAE. 

De CvAE geeft aan dat er verschillende voorzieningen zijn getroffen om een onafhankelijke oordeelsvorming 
door de CvAE te borgen: 

• Toets op onafhankelijkheid. De CvAE geeft aan bij iedere ingediende klacht de onafhankelijkheid van 
beide leden te toetsen. Dit is ook vastgelegd in het binnenkort uit te brengen nieuwe reglement (2015). 
Wanneer één van de leden geconflicteerd is (of de schijn van partijdigheid tegen heeft) neemt het 
andere lid de behandeling van de klacht voor zijn rekening.Dit geldt ook voor het betrekken van een 
expert. Voordat experts worden betrokken wordt hun onpartijdigheid en onafhankelijkheid getoetst. 

• Chinese waiis. Wanneer één van de leden geconflicteerd is, vindt tussen het geconflicteerde lid en het 
andere lid (en de secretaris) geen informatie-uitwisseling over de klacht plaats. Het geconflicteerde lid 
krijgt pas inzage in het advies als het verstuurd wordt aan de betrokken partijen. 


“ De CvAE heeft ter invulling van het Instellingsbesluit een Reglement opgesteld, http://www.commissievanaanbestedingsexperts.nl/. 

“Bij de beslissing individuele klachten in behandeling te nemen zullen de leden van de Commissie die de klacht gaan behandelen zich er 
telkens van vergewissen of ze zich moeten onttrekken aan behandeling van de klacht op grond van enige verbintenis met klager of 
beklaagde, respectievelijk op grond van enig belang bij de uitkomst van de klachtenprocedure; welke verbintenis of belang - objectief 
gezien - ertoe kan leiden dat afbreuk wordt gedaan aan de onafhankelijkheid van het betreffende lid, dan wel dat, objectief gezien (schijn 
van) vooringenomenheid bij de klachtenbehandeling ontstaat." Artikel 10, lid 1 nieuwe Reglement Commissie van Aanbestedingsexperts 
(2015). 
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• Klacht niet behandelen. Wanneer beide leden geconflicteerd zijn (of de schijn van partijdigheid tegen 
hebben) wordt de klacht niet in behandeling genomen.^® Aangegeven wordt dat de kans dat een klacht 
om deze reden niet behandeld kan worden, zal afnemen door de aanstelling van het derde lid. 

We merken hierbij op dat de voorziening 'Chinese walls' niet formeel is vastgelegd. Voorts is onduidelijk in 
hoeverre de voorzieningen 'verankerd' zijn in de organisatie (in aanvulling op het formeel vastleggen). 
Onbekend is bijvoorbeeld of en wie de naleving van de voorzieningen controleert. Op grond van dit onderzoek 
kunnen we de hierboven geschetste werkwijze derhalve niet feitelijk vaststellen. 

Bevinding 6. De Commissie van Aanbestedingsexperts wordt door de meeste partijen ais een onafhankeiijk 
orgaan gezien. De onafhankeiijkheid ten opzichte van het Ministerie van EZ vormt voigens een aantai 
partijen een aandachtspunt. 

Uit zowel de enquête als de verdiepende gesprekken komt naar voren dat de CvAE als een onafhankelijk 
orgaan wordt gezien. In de enquête geeft 55% van de respondenten aan de CvAE als een onafhankelijk orgaan 
te zien. Hiermee is 5% het oneens. 28% van de respondenten geeft aan dit niet te weten (figuur 4). 
Aanbestedende diensten (62% eens) en experts (67% eens) oordelen positiever over de onafhankelijkheid van 
de CvAE dan ondernemers (42% eens). Een verklaring hiervoor is dat een hoger percentage ondernemers 
aangeeft niet te weten in hoeverre de CvAE als een onafhankelijk orgaan kan worden gezien (51% tegenover 
21% van de respondenten van aanbestedende diensten). 
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Figuur 4. Stelling: de CvAE is een onafhankelijk orgaan (N = 831). 

Onafhankelijkheid van de voorzitter en vicevoorzitter 

Het lidmaatschap van de CvAE betreft een parttime functie (10-12 uur per week per persoon). Naast de CvAE 
zijn de leden ook werkzaam in respectievelijk de advocatuur^® en de wetenschap. Gesprekspartners geven aan 
dat de onafhankelijkheid van de leden in de praktijk niet ter discussie staat. Ook wordt opgemerkt dat het voor 
een parttime functie vrijwel onmogelijk is om personen te vinden die geen andere functies vervullen. 


“ Bij de onderzoekers zijn slechts twee gevallen bekend waarbij beide leden van de CvAE geconflicteerd waren (of de schijn van 
partijdigheid tegen hadden). 

“ De voorzitter geeft aan niet meer als advocaat op te treden in gerechtelijke procedures met betrekking tot het aanbestedingsrecht. 
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Onafhankelijkheid van de Commissie van Aanbestedingsexperts ten opzichte van het Ministerie van EZ 
De minister van EZ draagt politieke verantwoordelijkheid voor het optreden van de CvAE. De leden van de 
CvAE ontvangen ondersteuning vanuit het Ministerie van EZ in de vorm van een ambtelijk secretariaat (36 uur 
per week) en een administratief secretariaat (26 uur per week). Ook ontvangt de CvAE technologische 
ondersteuning in de vorm van een web-based klachtenregistratie- en volgsysteem. De ondersteunende 
activiteiten worden gefaciliteerd vanuit PIANOo. Deze inrichting was ten tijde van de instelling van de CvAE 
volgens gesprekspartners de meest pragmatische oplossing. 

Op grond van de open reacties in de enquête en de gevoerde gesprekken stellen we vast dat de 
onafhankelijkheid ten opzichte van het departement bij de directe doelgroepen (aanbestedende diensten, 
ondernemingen en brancheorganisaties) nauwelijks onderwerp van gesprek is. Een aantal gesprekspartners 
vanuit de advocatuur en wetenschap ziet het onderbrengen van het secretariaat van de CvAE bij een 
aanbestedende dienst^ als een mogelijke toekomstige valkuil: "de leden van de CvAE stellen zich onafhankelijk 
op, maar de organisatie eromheen Is dat feitelijk niet". De leden van de CvAE geven zelf aan vooralsnog geen 
vragen te hebben ontvangen over de onafhankelijkheid van de CvAE ten opzichte van het departement. Wel 
geven de leden aan op organisatorisch (ICT en HR) gebied een zekere afhankelijkheid van het Ministerie van EZ 
te ervaren. Zo dient de CvAE wanneer zij uitbreiding beoogt - conform de richtlijnen van het departement - 
eerst intern een functieprofiel uit te zetten alvorens externen kunnen meedingen. 


3.2. Bevoegdheden 

Bevinding 7. De Commissie van Aanbestedingsexperts heeft geen formeie bevoegdheden bij het behandeien 
van kiachten. Dat brengt voor- en nadeien met zich mee. 

De CvAE heeft geen formele bevoegdheden bij het behandelen van aanbestedingsklachten. Zo vormt de CvAE 
geen extra rechtsgang en is een advies van de CvAE niet-bindend.^^ Ook heeft de CvAE niet de bevoegdheid 
om een aanbestedingsprocedure stil te leggen.Het kader waarbinnen de CvAE opereert brengt volgens 
gesprekspartners voor- en nadelen met zich mee: 

• Voordelen. Als belangrijkste voordeel wordt door gesprekspartners genoemd dat het ontbreken van 
formele bevoegdheden in sterke mate bijdraagt aan het laagdrempelige karakter van de CvAE. Ook 
wordt genoemd dat binnen het huidige kader minder nadruk ligt op procedurele aspecten. Die zouden 
bij een juridisch bindend oordeel een grotere rol spelen en tot meer complicaties en vertraging kunnen 
leiden. De CvAE geeft aan dat dit ook bijdraagt aan een doelmatigere operatie (formele bevoegdheden 
vragen extra budget en mensen) en lagere kosten voor klagers en beklaagden. Ook wordt door 
gesprekspartners aangegeven dat aanbestedende diensten door het ontbreken van formele 
bevoegdheden geen of minder gezichtsverlies ervaren bij de opvolging van adviezen. Wanneer een 
beklaagde in het ongelijk wordt gesteld kan hij zelf bepalen om actie te ondernemen. Een aantal 
gesprekspartners geeft aan dat klagers op hun beurt minder risico lopen op het beschadigen van de 
relatie met de beklaagde. 


Het secretariaat is ondergebracht bij PiANOo, Expertisecentrum Aanbesteden. Het primaire doel van PIANOo is het verstrekken van 
kennis, informatie en advies aan inkopers bij aanbestedende diensten. PiANOo is organisatorisch onderdeel van het Ministerie van EZ. 

Klachtafhandeling door de CvAE functioneert naast andere mogelijkheden tot het behandelen van klachten over 
aanbestedingsprocedures. Bij klachten over aanbestedingen is een gang naar de rechter onverkort mogelijk. De rechter is niet gebonden 
aan het advies van de CvAE en kan hiervan afwijken. Het advies van de CvAE is wel aangemerkt als zwaarwegend (Advies 
klachtenafhandeling bij aanbesteden). Dit wil zeggen dat het advies aan de rechter kan worden overgelegd. De partijen dienen er in dit 
geval rekening mee te houden dat de rechter dit advies in de uitspraak kan meewegen. 

Bron: Advies klachtenafhandeling bij Aanbesteden (2013). http://www.riiksoverheid.nl/documenten-en- 
publicaties/regelingen/2013/03/07/klachtafhandeling-bii-aanbesteden.html . 
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• Nadelen. Met name ondernemers zijn van mening dat de huidige bevoegdheden van de CvAE ook 
nadelen met zich meebrengen. Een aantal gesprekspartners geeft aan dat de CvAE 
aanbestedingsklachten wel kan behandelen, maar dat door het niet-bindende karakter van de adviezen 
de daadwerkelijk oplossing buiten haar invloedssfeer ligt. Voor de oplossing zijn klagers afhankelijk van 
de bereidwilligheid van de beklaagde. Ook geven gesprekspartners aan dat het nadelig is dat de CvAE 
een verlenging van de cruciale termijnen niet kan afdwingen (paragraaf 5.5) om tijdig tot een advies te 
komen. Een aantal (vertegenwoordigers van) ondernemers pleit ervoor om deze bevoegdheid aan de 
CvAE toe te kennen. 

Gesprekspartners zijn over het algemeen van mening dat de voordelen van het ontbreken van formele 
bevoegdheden opwegen tegen de nadelen. Ondernemers, maar ook aanbestedende diensten, 
brancheorganisaties en de leden van de CvAE zelf, geven aan dat de CvAE haar lage toegangsdrempel moet 
behouden. Het toekennen van formele bevoegdheden kan tot juridisering van de CvAE lelden. Aangegeven 
wordt dat dit met name ten koste kan gaan van de toegankelijkheid voor het MKB^^ en de snelheid waarmee 
aanbestedingsklachten kunnen worden behandeld. 

Gesprekspartners doen twee suggesties om de impact verder te vergroten met behoud van de lage 
toegangsdrempel: 

• De CvAE zou kunnen overwegen om (op verzoek van de klager) een 'spoed' advies uit te brengen 
wanneer de kritieke termijn van de aanbestedingsprocedure hiertoe aanleiding geeft. Aandachtspunt is 
dat een minder uitgebreid advies niet ten koste mag gaan van de zorgvuldigheid en daarmee de 
gezaghebbendheid van de CvAE. 

• Een tweede suggestie is om binnen een klacht eerst te adviseren over de deelklachten met de grootste 
prioriteit en de overige deelklachten pas daarna te behandelen. Zo kan in ieder geval op de 'pijnpunten' 
binnen de termijnen advies worden gegeven. 

3.3. Doelmatige taakuitvoering 

Bevinding 8. De Commissie van Aanbestedingsexperts heeft verschiiiende voorzieningen getroffen voor een 
doeimatige taakuitvoering. 

Op grond van de bestudeerde documenten en gesprekken met de leden van de CvAE stellen we vast dat er bij 
de instelling en gedurende de uitvoering verschillende voorzieningen zijn getroffen om doelmatig te opereren: 

• Prioritering in het behandelen van aanbestedingsklachten. De CvAE maakt onderscheid tussen 
klachten met een niet-kritieke termijn en klachten met een kritieke termijn. Prioritering vindt plaats 
door klachten met een kritieke termijn, waarbij het advies van de CvAE nog invloed kan hebben op het 
verloop van de aanbestedingsprocedure, met voorrang te behandelen. Vaak is het nodig dat de 
aanbestedende dienst de termijn voor het nemen van een onomkeerbare beslissing verlengt. Daarnaast 
onderscheidt de CvAE ook technisch complexe klachten. Dit zijn bijvoorbeeld klachten waarvoor 
branchespecifieke kennis nodig is. De CvAE dient de juiste expert te vinden en moet op zoek gaan naar 
de wenselijke, specialistische informatie; dit kost tijd. 

• Tijdelijke ondersteuning. Door de beperkte capaciteit van de CvAE stapelden de klachten met een niet- 
kritleke termijn zich op (zie paragraaf 5.5 voor de doorlooptijden van de klachtenbehandeling door de 


Momenteel zijn 94 van de 163 klachten die in 2013 en 2014 zijn ingediend van het MKB (<250 werknemers). De andere klachten zijn 
ingediend door grootbedrijven (38) en door brancheorganisaties (11). Bij 19 klachten is het type klager niet in te delen bij deze 
categorieën). 
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CvAE).Eén expert is langdurig ingezet ter ondersteuning van de CvAE. Deze expert is reeds 13 keer 
ingezet bij het behandelen van een aanbestedingsklacht.^^ Aangegeven wordt dat door de beperkte 
capaciteit van de CvAE de klachten met een niet-kritieke termijn zich in 2014 opstapelden. Door het 
tijdelijk inschakelen van de expert is hierin verandering gebracht (zie paragraaf 5.5). 

• Inbedding van de organisatie bij PIANOo. De secretariële en technologische ondersteuning wordt 
vanuit PIANOo verstrekt. Dit leidde tot een doelmatige en flexibele inzet van middelen en bood de 
mogelijkheid voor een snelle start van de CvAE. De CvAE ziet echter ook ruimte voor verbetering, 
omdat het op een aantal onderdelen aan flexibiliteit inboet door de inbedding van de organisatie bij 
PIANOo. Zo wordt bijvoorbeeld genoemd dat de technologische systemen een knelpunt vormen waar 
het gaat om de behoeften die de CvAE heeft ten aanzien van het registreren en monitoren van 
aanbestedingsklachten. 

• Pool van experts. Bij de oprichting van de CvAE is gekozen om een pool van experts in te richten zodat 
het aantal (vaste) leden van de CvAE beperkt kon blijven. Er zijn, tot 1 januari 2015,15 verschillende 
experts ingezet (van de 86) bij 29 aanbestedingsklachten. In 2013 zijn er 4 experts ingezet bij de 
behandeling van 6 klachten. In 2014 zijn er 12 experts ingezet bij 22 klachten. De leden van de CvAE 
geven aan dat de inzet van de experts vooralsnog achterblijft bij de oorspronkelijke verwachting. Als 
belangrijkste reden wordt genoemd dat de inzet van de experts niet voldoende doelmatigheidswinst 
oplevert. De instructie van de experts, de bewerking van de (concept-)adviezen, het overleg daarover 
met de betreffende expert en het consistent maken van de adviezen van experts met adviezen die 
eerder door de CvAE zijn opgesteld is momenteel bewerkelijk en inefficiënt volgens de CvAE. Experts 
zelf geven aan veelal meer tijd aan het formuleren van een advies te besteden dan het aantal begrote 
uren (in beginsel vijf uur per klacht). De CvAE geeft aan dat een grotere inzet van experts in de praktijk 
lastig is, omdat experts drukbezet zijn, zodat er slechts een beperkt beroep op een expert gedaan kan 
worden. De inzet van experts leidt daardoor niet in alle gevallen tot ontlasting van de CvAE. 

Ondanks bovengenoemde voorzieningen blijkt uit de gesprekken met de leden van de CvAE^^ de experts en 
het Ministerie van EZ dat alle betrokkenen meer tijd aan hun werkzaamheden voor de CvAE besteden dan 
ervoor begroot is. Gesprekspartners geven aan veel waardering te hebben voor de inzet van de voorzitter en 
vicevoorzitter. Wel geven veel gesprekspartners aan dat de inzet van de experts vooralsnog op beperkte 
schaal plaatsvindt waardoor de leden veel zelf doen (zie ook bevinding 9 hieronder). 

Bevinding 9. Gesprekspartners doen suggesties om de doeimatigheid van de taakuitvoering te verbeteren. 

De doelmatigheid van de taakuitvoering kan volgens gesprekspartners op de volgende onderdelen nog worden 
verbeterd en bestendigd: 

• Doelmatigere inzet experts. De pool van experts is enerzijds samengesteld om in een concrete 
klachtbehandeling snel de gewenste expertise te kunnen inschakelen en anderzijds om het aantal 
(vaste) leden van de CvAE beperkt te houden. In de praktijk worden de experts relatief weinig ingezet. 
Gegeven het aantal aanbestedingsklachten dat binnenkomt, lijkt het gebruik van experts noodzakelijk. 
Voor een doelmatigere inzet van de experts moet de frequentie van de inzet van experts worden 
verhoogd: hoe meer klachten een expert heeft behandeld, hoe minder tijd het kost. Het vaker inzetten 
van een aantal experts kan betekenen dat de pool van experts kleiner wordt. 

• Verder ontwikkelen rol inhoudelijke ondersteuning. De leden van de CvAE geven aan dat hun inzet, 
alsmede die van de experts, kan worden vergroot door de verdere ontwikkeling van de inhoudelijke rol 
van het ambtelijk secretariaat. Het ambtelijk secretariaat kan bijvoorbeeld een feitenrelaas van de 


De expert is 13 keer ingezet bij kiachten, nameiijk 4 keer in 2013 en 9 keer in 2014 (peiidatum 20 Januari 2015). 

“ We refereren hiermee aan de voorzitter en vicevoorzitter. De voorzitter en vicevoorzitter krijgen bij de uitvoering van hun 
werkzaamheden ondersteuning vanuit een secretariaat. De ieden van het secretariaat waren enkei bij de bespreking van onze 
bevindingen betrokken. 
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aanbestedingsklacht (volgens het bestaande format) samenstellen en de relevante informatie ordenen, 
relevante jurisprudentie en literatuur aanleveren. Op deze manier wordt een onderlegd voorstel voor 
de uitgangspunten van het advies neergelegd. Op basis van dit voorstel kunnen de experts en de leden 
van de CvAE hun tijd doelmatiger inzetten. Ook een aantal experts benadrukt dat de hiervoor 
genoemde werkwijze (analoog aan het advocaat-stagiaire model van advocatenkantoren) zal leiden tot 
een doelmatigere besteding van de inzet van de leden van de CvAE en de experts. 

• Professionalisering van de ondersteuning. Naast de verdere ontwikkeling van de inhoudelijke rol van 
het ambtelijk secretariaat is er vanuit het secretariaat en de CvAE behoefte aan professionalisering van 
de ondersteuning vanuit het secretariaat. Met name de ICT-systemen vormen een aandachtspunt. 
Voorts bestaat er bij de CvAE behoefte aan uitbreiding van de capaciteit van het secretariaat, om zo de 
doorlooptijden van adviezen te kunnen verkorten, bestaande achterstanden weg te kunnen werken en 
de bekendheid van de CvAE te kunnen vergroten (onder andere door uitgebrachte adviezen te 
ontsluiten). 
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4. Throughput 


De Commissie van Aanbestedingsexperts hanteert een bepaalde werkwijze (throughput). In dit 
hoofdstuk presenteren we onze bevindingen en de onderliggende feiten en percepties ten aanzien 
van de werkwijze van de CvAE. 

Bij het omschrijven van de throughput kijken we naar (1) de inrichting van de klachtenprocedure; (2) 
de positionering van de CvAE; (3) de toegankelijkheid van de CvAE; (4) de zorgvuldigheid van de 
CvAE; en (5) de snelheid van de klachtenbehandeling. 


4.1. Inrichting klachtenprocedure 

Bevinding 10. De door de Commissie van Aanbestedingsexperts ingerichte kiachtenprocedure bestaat uit vijf 
fasen. De procedure heeft zich op een aantai onderdeien ontwikkeid sinds de oprichting van de Commissie 
van Aanbestedingsexperts. 

Inrichting klachtenprocedure zoals omschreven 

Ondernemers^®, aanbestedende diensten, speciale sectorbedrijven en brancheorganisaties (namens één of 
meerdere ondernemers) kunnen aanbestedingsklachten indienen bij de CvAE. Het anoniem indienen van een 
klacht is niet mogelijk. De CvAE heeft de inrichting van haar klachtenprocedure omschreven op haar website^^ 
en opgenomen in het Reglement van de CvAE^®. De klachtenprocedure bestaat uit de volgende fasen: 



Figuur 5. Fasen van de klachtenprocedure bij de CvAE. 


1. Indienen klacht via klachtenformulier op de website van de CvAE.^^ Aan het indienen van een klacht 
zijn geen kosten verbonden. De klager dient zijn klacht op elektronische wijze in via het 
klachtenformulier op de website.®® De klacht bevat de naam en het adres van de klager en de 
wederpartij en een beschrijving van de klacht. De klager dient duidelijk te maken waarover hij klaagt en 
hij dient zijn klacht te motiveren. Verder dient hij alle informatie toe te voegen die in zijn ogen relevant 


“ Flieronder vallen onder andere (potentiële) gegadigden; (potentiële) Inschrijvers; en onderaannemers van (potentiële) Inschrijvers bij 
aanbestedingsprocedures. Artikel 7, Nd 1 van het Reglement Commissie van Aanbestedingsexperts. 

27 www.commlsslevanaanbestedlngsexperts.nl/ Indlenen-klacht/procedure. 

2® Reglement Commissie van Aanbestedingsexperts. Versie d.d.01-04-2013. 

2® De enquêteresultaten over de toegankelijkheid en laagdrempeligheid van de CvAE worden besproken In paragraven 4.3 en 4.4. 

2“ Digitaal klachtenformuller vla: http://www.commlsslevanaanbestedlngsexperts.nl/lndlenen-klacht/klacht-lndlenen . 
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is om de klacht goed te kunnen behandelen. De klager heeft in het formulier ruimte om aan te geven 
hoe de klacht in zijn ogen kan worden verholpen. 

De CvAE geeft aan dat het klachtenformulier in ontwikkeling is. In de nieuwste versie is onder andere 
toegevoegd dat de klager de waarde van de opdracht kan invullen, kan aangeven of er een adviseur of 
advocaat wordt betrokken en of er termijnen zijn waarmee de CvAE rekening moet houden. Verder kan 
de klager direct stukken toevoegen waarin de communicatie met de beklaagde wordt weergegeven. 
Door middel van deze ontwikkelingen wil de CvAE het formulier beter geschikt maken voor het efficiënt 
verzamelen van de benodigde informatie. Verder wil de CvAE de feitelijke informatie gebruiken om 
meer gedetailleerde kengetallen te produceren bij het opstellen van jaarrapportages. 

2. Uitsluitsel geven over het wel of niet in behandeling nemen van een klacht. De CvAE kan besluiten 
een klacht niet in behandeling te nemen. Bijvoorbeeld wanneer zij van oordeel is dat de klacht 
onvoldoende is gemotiveerd, de Aanbestedingswet niet van toepassing is, de klacht niet eerst is 
ingediend bij de beklaagde of er geen redelijke termijn voor reactie aan de beklaagde is geboden. Het 
ambtelijk secretariaat toetst aan de hand van een interne vragenlijst of de klacht in behandeling kan 
worden genomen en wat de mate van urgentie is. De CvAE oordeelt vervolgens over het in behandeling 
nemen van de klacht en het vervolgtraject. Het besluit wordt meegedeeld aan de betrokken partijen. 
Verder geeft de CvAE aan de verwachtingen te managen rondom de haalbaarheid van het tijdig geven 
van het advies door een indicatieve beschrijving van het verdere procedureverloop te geven. 

3. Behandeling van de klacht. 

i. Betrokkenheid experts. De CvAE bepaalt bij de behandeling van de klacht of de voorzitter of 
vicevoorzitter de klacht behandelt. Ook wordt besloten of een expert wordt betrokken. De inzet 
van een expert wordt medegedeeld aan de betrokken partijen. Experts dienen te verklaren dat 
zij onafhankelijk en onpartijdig zijn in overeenstemming met de Gedragsregels van de CvAE.^^ Zij 
ondertekenen daartoe een verklaring. 

ii. Bemiddeling/advies. In het Reglement van de CvAE staat dat wanneer een klacht in behandeling 
wordt genomen de CvAE beslist of er eerst een poging wordt gedaan om te bemiddelen om tot 
een onderlinge oplossing tussen partijen te komen, voordat wordt overgegaan tot het 
uitbrengen van een advies. 

iii. Hoor- en wederhoor. De CvAE behandelt de klacht en de daarmee samenhangende stukken 
vertrouwelijk. De CvAE kan aanvullende informatie opvragen bij de betrokken partijen. De CvAE 
vraagt de beklaagde om een inhoudelijke reactie op de klacht. Indien nodig wordt de beklaagde 
gevraagd om termijnen en/of beslissingen op te schorten tot het moment waarop het advies van 
de CvAE beschikbaar is. De CvAE heeft geen bevoegdheid om een dergelijke ‘standstiïï af te 
dwingen. 

iv. Staken van de behandeling. De behandeling van de klacht door de CvAE kan worden gestaakt als 
de klacht inmiddels is opgelost door de betrokken partijen, de klacht niet meer relevant is 
verklaard door de klager of als bij de rechter een procedure aanhangig is gemaakt over het 
onderwerp van de klacht. 


Reglement Commissie van Aanbestedingsexperts. Versie d.d.01-04-2013. Artikel 9, lid 1. 

Gedragsregels voor Experts verbonden aan de Commissie van Aanbestedingsexperts. Verkregen van 
http://www.commissievanaanbestedingsexperts.nl/over-ons/experts-overzicht. 

"De Commissie staakt de behandeiing van een aan haar voorgelegde klacht wanneer die klacht niet meer bestaat of de rechter over de 
klacht uitspraak heeft gedaan. In het geval dat een aan haar voorgelegde klacht inmiddels ook bij de rechter aanhangig is, houdt de 
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De CvAE geeft aan bij de behandeling van klachten in de praktijk onderscheid te maken tussen klachten 
met een kritieke termijn en klachten met een niet-kritieke termijn. Klachten met een kritieke termijn 
worden met voorrang behandeld (zie ook bevinding 8). 

4. Advies van de CvAE. Op basis van de beschikbare informatie spreekt de CvAE zich uit of - en zo ja, in 
welke mate - de (deel)klacht gegrond is. Het advies wordt zowel aan de klager als aan de wederpartij 
bekend gemaakt. In het Reglement van de CvAE is daarnaast aangegeven dat de CvAE - in alle gevallen 
waarin zij daar mogelijkheden toe ziet - partijen adviseert hoe zij de klacht kunnen oplossen. Het advies 
van de CvAE is niet-bindend. Naar aanleiding van suggesties uit de markt^^ beziet de CvAE sinds ruim 
een jaar bij elk advies welke concrete 'aanbeveling' aan een partij of aan beide partijen kan worden 
gedaan. Dit wordt enkel gedaan bij adviezen waarin een 'aanbeveling' op zijn plaats is omdat de CvAE 
aangeeft dat zij niet op de stoel van de aanbestedende dienst kan en wil gaan zitten. 

5. Publicatie van het advies. De adviezen over klachten dienen in beginsel geanonimiseerd op de website 
van de CvAE te worden gepubliceerd na afloop van de aanbestedingsprocedure.^^ De CvAE kan bij 
publicatie het oorspronkelijke advies inkorten maar in de praktijk gebeurt dat niet. De publicatie kan 
achterwege blijven als de voorzitter onvoldoende impuls tot professionalisering en/of onvoldoende 
leereffect bij aanbestedende diensten, speciale-sectorbedrijven en/of ondernemingen vóórziet.^® 

Na afloop van een klachtenprocedure (en de eventuele juridische afwikkeling) stuurt de CvAE een vragenlijst 
toe aan aanbestedende diensten. Er zijn tot nu toe 18 ingevulde vragenlijsten geretourneerd. In de vragenlijst 
beantwoorden aanbestedende diensten onder andere vragen over aanpassingen in de 
aanbestedingsprocedure en in het algemene aanbestedingsbeleid (naar aanleiding van het advies van de 
CvAE). Verder kunnen zij aangeven wat ze van de wijze van klachtbehandeling vinden en kunnen ze overige 
opmerkingen inzake de klachtprocedure kwijt. 

Bevinding 11. De Commissie van Aanbestedingsexperts heeft tot op heden geen kiachten van 
aanbestedende diensten ontvangen. 

Bij de instelling van de CvAE is bewust gekozen voor de mogelijkheid van indiening van aanbestedingsklachten 
door aanbestedende diensten zelf. Wederkerigheid was hierbij een belangrijk argument. Beide partijen, zowel 
ondernemers als aanbestedende diensten, hebben de mogelijkheid om klachten in het kader van 
aanbestedingsprocedures in te dienen bij de CvAE. In de praktijk blijkt dat aanbestedende diensten geen 
klachten indienen. Gesprekspartners geven aan dit logisch te vinden en zien weinig redenen voor 
aanbestedende diensten om een klacht in te dienen bij de CvAE. Verder zijn gesprekspartners van mening dat 
de aanbestedende diensten een sturende rol hebben in de aanbestedingsprocedures. Wanneer de 
aanbestedende dienst malversaties vermoedt kan hij zich tot andere instanties wenden. Wanneer een 
vermoeden van kartelvorming speelt kan bijvoorbeeld een beroep worden gedaan op de Autoriteit Consument 
en Markt (ACM). De CvAE kan mogelijk wel een bemiddelende rol spelen bij klachten van aanbestedende 
diensten. 


Commissie de behandeling van de kiacht aan totdat de rechter uitspraak heeft gedaan. In afwijking hiervan kan de Commissie besiuiten de 
behandeling van de kiacht te hervatten in het gevai daartoe een verzoek wordt gedaan door beide partijen gezameniijk of door de rechter, 
vooropgesteld dat de rechter in een dergeiijk geval behandeling van de zaak aanhoudt." (Artikel 11, lid 3 Reglement CvAE). 

Commissie van Aanbestedingsexperts krijgt voldoende. Cobouw 27-02-2014. 

“ De CvAE geeft aan dat het anonimiseren van een advies niet altijd gegarandeerd kan worden. Soms zijn de activiteiten van partijen of de 
aard van de opdracht zo specifiek dat het de facto onmogelijk is anonimiteit te effectueren. 

“ In totaal zijn 55 adviezen gepubliceerd op de website van de CvAE (peildatum is 20 april 2015). Het is niet bekend hoeveel adviezen niet 
zijn gepubliceerd vanwege onvoldoende impuls tot professionalisering en/of onvoldoende leereffect. De waardering van de adviezen 
wordt besproken in paragraaf 5.5. 
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4.2. Positionering Commissie van Aanbestedingsexperts 


Bevinding 12. De Commissie van Aanbestedingsexperts vormt een aanvuiiing op andere mogeiijkheden om 
een kiacht in te dienen. 

Er zijn verschillende mogelijkheden om aanbestedingsklachten aanhangig te maken. Klagers kunnen bij (het 
interne klachtenloket van) de aanbestedende dienst terecht, een klacht indienen via hun branche-organisatie 
of naar de rechter stappen (kort geding). Sinds april 2013 kunnen aanbestedingsklachten ook bij de CvAE 
worden ingediend. In de toelichting op het Instellingsbesluit^^ wordt benadrukt dat de CvAE een aanvulling 
dient te zijn op de reeds bestaande klachtenmogelijkheden: “De Commissie van Aanbestedingsexperts vormt 
geen extra rechtsgang, maar is een vrijblijvende en laagdrempelige mogelijkheid voor ondernemers, 
aanbestedende diensten en speciale-sectorbedrijven om naast reeds bestaande mogelijkheden een geschil op 
te lossen." 
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Figuur 6. Stelling: de CvAE vormt een aanvulling op andere mogelijkheden om een klacht in te dienen (N = 831). 


Uit de enquêteresultaten blijkt dat een grote meerderheid van de respondenten (67%) van mening is dat de 
CvAE een aanvulling vormt op andere mogelijkheden om een klacht in te dienen. In de open antwoorden 
geven respondenten bijvoorbeeld het volgende aan: "de toegang is laagdrempeliger dan bij een kort geding", 
"het advies heeft meer overtuigingskracht dan een advies van de interne klachtencommissie van een 
aanbesteder" en "alle andere mogelijkheden worden niet ontnomen door het bestaan van de Commissie". 
Slechts 5% van de respondenten is het niet eens met de stelling dat de CvAE een aanvulling vormt op andere 
mogelijkheden. Negatieve signalen over de toegevoegde waarde van CvAE komen met name voort uit 
ongenoegen over de doorlooptijd van klachten (zie paragraaf 5.5): "Door de lange behandeltermijn van de 
klachten, is een klacht geen alternatief voor bijvoorbeeld een kort geding." Uit de enquêteresultaten komen 
geen expliciete beelden naar voren over of de bemiddelende rol van de CvAE wordt gezien als een aanvulling. 

De beelden uit de enquête worden door de gesprekspartners onderschreven. Alle gesprekspartners zien de 
CvAE als een positieve aanvulling op de andere mogelijkheden om een klacht in te dienen. Dit geldt specifiek 
voor aanbestedingsklachten waar de klager niet 100% zeker is van zijn zaak, klachten in de beginfase van de 
procedure (voorafgaand aan de gunning) en klachten over kleine opdrachten. Ook wordt aangegeven dat de 


Minister van Economische Zaken (2013). Toeiichting op het insteiiingsbesiuit Commissie van Aanbestedingsexperts. 
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CvAE voor (met name) het MKB de toegang tot een onafhankelijk en deskundig klachtenorgaan heeft 
verbeterd.^® Het bemiddelen tussen partijen naar aanleiding van klachten zou tevens een aanvulling kunnen 
zijn op andere mogelijkheden om een klacht in te dienen. In de praktijk wordt er door de CvAE nog geen 
gebruik gemaakt van bemiddeling. In paragraaf 5.2 wordt hier verder op ingegaan. 

Bevinding 13. De inzet van juristen en/of Juridische adviseurs bij aanbestedingskiachten is door de insteiiing 
van de Commissie van Aanbestedingsexperts verschoven, maar er iijkt geen sprake te zijn van verdringing. 

Een deel van de respondenten geeft aan door de mogelijkheid om een klacht in te dienen bij de CvAE minder 
geneigd te zijn om een kort geding aan te spannen (26%). 16% van de respondenten is het hiermee niet eens. 
Veel gesprekspartners schatten in dat door de CvAE het aantal rechtszaken is verminderd.^® Gesprekspartners 
zijn veelal van mening dat sprake is van een verschuiving. Juristen en/of juridische adviseurs worden 
betrokken bij de voorbereiding van de klacht, vervolgens wordt bepaald of de route via het kort geding of via 
de CvAE wordt gekozen en indien wordt gekozen voor de route via de CvAE, worden juristen of juridische 
adviseurs nog steeds betrokken bij het indienen van de klacht. Dit beeld wordt ondersteund door de 
enquêteresultaten. Meer dan de helft van de respondenten (58%) geeft aan ondersteund en/of geadviseerd 
door een adviseur en/of advocaat te zijn bij het besluit om naar de CvAE te stappen. Bij het formuleren en 
indienen van de klacht zijn minder respondenten ondersteund en/of geadviseerd, namelijk 46%. Overigens ziet 
de CvAE in de betrokkenheid van juristen bij het voorbereiden van klachten een gedeeltelijke verklaring voor 
de juridische inhoud van de adviezen van de CvAE. De visie van de CvAE is dat op juridisch ingestoken vragen 
een juridisch gedegen antwoord moet worden gegeven (een aantal andere gesprekspartners denken daar 
anders over). 


4.3. Toegankelijkheid Commissie van Aanbestedingsexperts 

Bevinding 14. De Commissie van Aanbestedingsexperts wordt gezien ais een toegankeiijk en iaagdrempeiig 
orgaan voor de behandeiing van aanbestedingskiachten. 

Uit de enquêteresultaten blijkt dat bijna de helft (49%) van de respondenten vindt dat het indienen van een 
klacht bij de CvAE laagdrempelig is. Een klein deel (9%) is het hier niet mee eens. Als de resultaten nader 
worden uitgesplitst naar type respondenten, dan blijkt dat een grote meerderheid van de aanbestedende 
diensten (66%) het indienen van een klacht laagdrempelig vindt. 39% van de ondernemers vindt het indienen 
van een klacht laagdrempelig. Dit is opvallend omdat de klagers (ondernemers) minder positief zijn over de 
toegankelijkheid van de CvAE. Een groot percentage van de ondernemers geeft echter aan niet te weten of het 
indienen van een klacht laagdrempelig is (42%). Van beide groepen is rond de 10% het oneens met de stelling. 
Ook in gesprekken wordt de laagdrempeligheid van de CvAE onderschreven. Argumenten voor de 
laagdrempeligheid zijn onder ander dat de CvAE zonder juridische ondersteuning toegankelijk is voor 
ondernemingen. Ook wordt aangegeven dat de CvAE kosteloos is en een (voor leken) relatief eenvoudige (niet 
gejuridiseerde) procedure kent. 


Voor het MKB vormen de kosten van een gang naar de rechter en het risico op beschadiging van de relatie een groter bezwaar dan voor 
grotere bedrijven. Bovendien neemt het MKB relatief vaker deel aan kleine opdrachten. 

Het Ministerie van EZ heeft een onderzoek uitgevoerd naar ontwikkelingen in de aanbestedingsrechtspraak door de Jaren 2012 en 2014 
te vergelijken. Uit de voorlopige cijfers verzamelend tot en met 9 maart 2015 volgt geen duidelijke trend. Het aantal bodemprocedures op 
dit thema is tussen 2012 en 2014 gestegen van 8 naar 12. Het aantal kort gedingen is gedaald van 123 naar 117. Een belangrijke 
kanttekening is dat de instelling van de CvAE slechts één van de ontwikkelingen was in de aanbestedingspraktijk gedurende deze periode. 
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Het indienen van een kiacht bij de CvAE is iaagdrempeiig 

100 % 

80% 

60% 

40% 

20 % 

0 % 

■ Zeer oneens ■ Oneens ■ Niet oneens/niet eens ■ Eens HZeereens ■ Weet ik niet 

Figuur 7. Stelling: het indienen van een klacht bij de CvAE is laagdrempelig. Oordeel van respondenten die bekend zijn met de CvAE over 
de laagdrempeligheid van de CvAE (N = 831). 

Bevinding 15. Kiagers ervaren een minder groot risico op de beschadiging van de reiatie door het indienen 
van een kiacht bij de Commissie van Aanbestedingsexperts, maar het devies 'don't bite the hand thatfeeds 
you' wordt nog veei genoemd. 

Klagers zien een stap naar de CvAE als een stap tussen klagen bij een intern klachtenmeldpunt en een stap 
naar de rechter. Een klacht indienen bij de CvAE is volgens klagers een minder groot risico op beschadiging van 
de relatie omdat er nog een kans is dat beide partijen er bij de CvAE samen uitkomen zonder dat er een 
formele procedure bij de rechter is gestart. Ook geven aanbestedende diensten aan dat ze na een advies van 
de CvAE over het algemeen bereid zijn aanpassingen te doen in aanbestedingsprocedures. Andere 
gesprekspartners merken hierover op dat de aanbestedende dienst niet formeel op de vingers wordt getikt en 
zodoende zonder gezichtsverlies fouten in aanbestedingsprocedures kan repareren. Een respondent uit de 
enquête noemt: "het is een aanvulling wanneer aanbestedende diensten slordigheidsfouten maken in 
procedures. In dat geval is het prettig als tussentijds ergens gemeld wordt dat het niet goed loopt." 

Tegelijkertijd wordt in de gesprekken ook aangegeven dat klagers over het algemeen terughoudend zijn in het 
indienen van een klacht. Gesprekspartners geven aan dat ondernemers bang zijn dat dit gevolgen heeft voor 
de relatie met de aanbestedende dienst: 'don't bite the hand thatfeeds you'. Er zijn voorbeelden bekend van 
aanbestedende diensten die ondernemers dreigen uit te sluiten van een volgende opdracht indien een klacht 
wordt ingediend bij de CvAE. Een aantal gesprekspartners merkt daarom op dat het mogelijk zou moeten zijn 
om anoniem een klacht in te dienen: 

• Enerzijds wordt aangegeven dat anonimiteit lastig te garanderen is omdat klagers zich met hun klacht 
eerst tot de aanbestedende dienst moeten wenden. De CvAE stelt bovendien dat anoniem klagen niet 
mogelijk is vanwege de procedure waarin hoor- en wederhoor plaatsvindt. 

• Anderzijds geven brancheorganisaties aan hierin een rol te (kunnen) spelen. Wanneer één of meerdere 
ondernemers zich met een klacht tot de brancheorganisatie wenden kan deze de klacht 
(geanonimiseerd) aanhangig maken bij de aanbestedende dienst en vervolgens bij de CvAE. 
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4.4. Zorgvuldigheid van klachtenbehandeling 


Bevinding 16. Respondenten en gesprekspartners zijn over het aigemeen zeer tevreden over de 
zorgvuidigheid en kwaiiteit van de dienstveriening van de Commissie van Aanbestedingsexperts. 

Respondenten en gesprekspartners zijn zeer positief over de kwaliteit van de adviezen en de zorgvuldigheid 
waarmee de CvAE klachten behandelt. 63% van de respondenten (betrokken bij een klacht) geeft aan (zeer) 
tevreden te zijn over de zorgvuldigheid waarmee de CvAE de klacht heeft behandeld. 52% geeft aan (zeer) 
tevreden te zijn over de kwaliteit van het advies (figuur 8). 
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Figuur 8. Oordeel van betrokkenen over de dienstverlening van de CvAE (N = 124). 


De CvAE borgt de zorgvuldigheid en kwaliteit van de adviezen door gebruik te maken van het 'zes ogen 
principe'. Dit betekent dat drie mensen naar elk advies kijken en elkaar controleren, namelijk de voorzitter, 
vicevoorzitter en het ambtelijk secretariaat. De voorzitter en vicevoorzitter schrijven zelf de adviezen en doen 
dit incidenteel op basis van een voorzet van het ambtelijk secretariaat. De CvAE maakt gebruik van een format 
dat de basis is voor de adviezen. Bij de inzet van experts wordt het conceptadvies door de CvAE bekeken en 
zowel qua inhoud als formulering consistent gemaakt met eerdere adviezen (over hetzelfde onderwerp). 


4.5. Snelheid van klachtenbehandeling 

Bevinding 17. Kiagers en bekiaagden zijn positief over de termijn waarop zij uitsiuitsei ontvangen over het in 
behandeiing nemen van een kiacht. Men is kritisch over de dooriooptijd van de daadwerkeiijke behandeiing 
van de kiacht. 

De termijn waarbinnen de CvAE uitsluitsel geeft over het wel of niet in behandeling nemen van een klacht 
wordt door 55% van de respondenten die betrokken waren bij de behandeling van een klacht als (zeer) 
positief beoordeeld. Een analyse van de werkelijke termijn ondersteunt het beeld dat snel uitsluitsel wordt 
gegeven. De CvAE geeft in een termijn van 7-9 kalenderdagen uitsluitsel over het in behandeling nemen van 
een klacht. Desalniettemin geeft 23% van de respondenten aan (zeer) ontevreden te zijn over de termijn 
waarop de CvAE uitsluitsel heeft gegeven over het behandelen van de klacht. 
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De gehele doorlooptijd van de behandeling van de klacht wordt door 44% van de respondenten als (zeer) 
positief beoordeeld. 34% oordeelt hier (zeer) negatief over. Dit beeld wordt sterker weergeven door 
gesprekspartners. In paragraaf 5.5 gaan we nader in op de doorlooptijd en de aansluiting op de kritieke 
termijnen van de aanbestedingsprocedure. De doorlooptijd van de behandeling van een aanbestedingsklacht 
door de CvAE is het aspect van de dienstverlening waarop gesprekspartners het meest kritisch zijn. 
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Figuur 9. Oordeei van betrokkenen over de dienstveriening van de Commissie van Aanbestedingsexperts (N = 124). 
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5. Output 


De werkwijze (throughput) levert resultaten (output) op die feitelijk vast te stellen en kwantitatief 
meetbaar zijn. In dit hoofdstuk presenteren we onze bevindingen en de onderliggende feiten en 
percepties ten aanzien van de resultaten. Achtereenvolgens wordt ingegaan op de bekendheid van 
de CvAE en haar adviezen, het aantal ingediende klachten, de waardering voor de adviezen en de 
doorlooptijd van de adviestrajecten. 


5.1. Bekendheid van de Commissie van 
Aanbestedingsexperts en haar adviezen 

Bevinding 18. De Commissie van Aanbestedingsexperts is goed bekend onder aanbestedende diensten. 
Ondernemers zijn in mindere mate bekend met de Commissie van Aanbestedingsexperts. Ondernemers uit 
het grootbedrijf zijn beter bekend met de Commissie van Aanbestedingsexperts dan ondernemers uit het 
MKB. 

Uitgevoerde activiteiten gericht op vergroten bekendheid 

De CvAE heeft verschillende activiteiten ondernomen om haar bekendheid onder relevante doelgroepen te 
vergroten. De leden van de CvAE hebben bijvoorbeeld een presentatie gegeven voor de Commissie 
Overheidsaanbestedingen (COAB) van VNO-NCW en tijdens het jaarlijkse landelijke inkoperscongres van 
PIANOo/NEVI. Ook is een roadshow gehouden langs brancheorganisaties, tenderadviseurs, advocaten en 
aanbestedende diensten. Daarnaast publiceert de CvAE haar adviezen op de eigen website en zijn er 
vooraankondigingen en alerts op de PIANOo website te vinden. De CvAE wordt ook regelmatig genoemd in 
tendernieuwsbrieven, blogberichten en tijdschriften.Als laatste heeft de CvAE verscheidene presentaties 
gegeven over haar werkwijze op internationale congressen en bij internationale onderzoeksinstituten waar 
men zich bezig houdt met overheidsaanbestedingen. 

Bekendheid CvAE bij aanbestedende diensten 

Aanbestedende diensten zijn zeer goed bekend met de CvAE. 79% van de aanbestedende diensten geeft aan 
bekend te zijn met de mogelijkheid om een aanbestedingsklacht in te dienen bij de CvAE. Uit de evaluatie van 
de Aanbestedingswet^^ ontstaat hetzelfde beeld. 87% van de aanbestedende diensten geeft in dat onderzoek 
aan bekend te zijn met de CvAE. 

Bekendheid CvAE bij ondernemers 

Ondernemers zijn minder bekend met de mogelijkheid om een klacht in te dienen bij de CvAE. 30% van de 
ondernemers is goed bekend en 44% is beperkt bekend met de mogelijkheid. Uitsplitsing van de resultaten 
naar de omvang van de onderneming (in aantal werknemers) laat zien dat het MKB minder bekend is dan het 
grootbedrijf met de mogelijkheid om een klacht in te dienen bij de CvAE. Met name zzp'ers en klein MKB (tot 
10 werknemers) zijn hiermee in (zeer) beperkte mate bekend. Naarmate de omvang van de onderneming waar 


“ Bijvoorbeeld in een artikel in het Tijdschrift voor Bouwrecht (nr. 2 van 2015 door A.J. van Heeswijck), in Tendernieuwsbrieven (nr. 3 van 
2013, nr.4 en 5 van 2014 en nr. 1 van 2015), een artikel in Vastgoedrecht (31 december 2014), een artikel in Tijdschrift 
Aanbestedingsrecht (2014/4) en artikelen op Cobouw.nl en behandeling van alle adviezen in het tijdschrift JAAN. 

" Effecten van de Aanbestedingswet 2012. Perceel 1: Deelname MKB aan overheidsopdrachten en Feitenonderzoek (2015). 
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de respondent werkzaam is toeneemt, neemt de bekendheid met de CvAE ook toe (figuur 10). 
Gesprekspartners geven aan dat de CvAE moet (laten) onderzoeken hoe de bekendheid onder de primaire 
doelgroep kan worden vergroot en welke rol brancheorganisaties hierin kunnen vervullen. Ook wordt 
aangegeven dat de CvAE de bekendheid van adviezen kan vergroten door de inhoud van haar adviezen via 
toegankelijke publicaties beter te ontsluiten via bijvoorbeeld PIANOo of via toegankelijke samenvattingen en 
beschouwingen. Uit de evaluatie van de Aanbestedingswet^^ komt een overlappend beeld naar voren. Daar 
geeft 40% van de ondernemers aan bekend te zijn met de CvAE. Een mogelijk verklaring komt ook uit de 
evaluatie van de Aanbestedingswet naar voren. Uit dit onderzoek blijkt dat in slechts 5% van de onderzochte 
aanbestedingsdocumenten in 2014 (Europese en nationale procedures) specifiek wordt verwezen naar de 
CvAE als klachtenmeldpunt. 


100 % 

80% 

60% 

40% 

20 % 

0 % 


In welke mate bent u bekend met de mogelijkheid om een kiacht in te dienen over een 
aanbestedingsprocedure bij de CvAE? 
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■ Goed bekend ■ Beperkt bekend ■ Niet bekend 


Figuur 10. Bekendheid met de mogelijkheid om een klacht in te dienen over een aanbestedingsprocedure. Uitsplitsing naar omvang van de 
onderneming (N = 438). 


Bekendheid met de gepubliceerde adviezen 

Aanbestedende diensten zijn goed bekend met de adviezen van de CvAE. 43% van de aanbestedende diensten 
geeft aan goed bekend te zijn met de adviezen van de CvAE en 36% is beperkt bekend met de adviezen. 
Ondernemers zijn minder bekend met de adviezen van de CvAE. 13% is goed bekend en 33% is beperkt bekend 
met de adviezen. 


“ Eindrapport; Effecten van de Aanbestedingswet 2012. Perceel 1: Deelname MKB aan overheidsopdrachten en het Feitenonderzoek 
(KWINK groep, 2015). 

“ Aanbestedende diensten zijn op basis van de Aanbestedingswet 2012 niet verplicht een verwijzing op te nemen naar de CvAE. 
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5.2. Aantal klachten en adviezen/bemiddeling 


Bevinding 19. Het aantai ingediende kiachten is in 2014 gestegen in vergeiijking met 2013. Met name het 
MKB dient aanbestedingskiachten in bij de Commissie van Aanbestedingsexperts. 


Aantal klachten 

Sinds de instelling van de CvAE op 1 april 2013 tot 1 januari 2015 zijn er 163 klachten ingediend.In 2014 zijn 
110 klachten ingediend en in 2013 (vanaf 1 april) zijn 53 klachten ingediend. Gemiddeld ontving de CvAE zes 
klachten per maand in 2013 en negen klachten per maand in 2014 (figuur 11). 

• In behandeling genomen klachten. Van de ingediende klachten zijn 93 klachten in behandeling 
genomen. 62 klachten zijn niet in behandeling genomen en bij 8 klachten is dit nog niet bekend omdat 
deze klachten on-hold zijn gezet. 

• Advies. Er zijn 62 klachten waarvan bekend is dat de klacht gegrond of niet-gegrond is verklaard. Deze 
62 klachten bestaan uit 124 deelklachten. In totaal zijn 51 deelklachten gegrond en 72 deelklachten 
ongegrond verklaard. Bij 1 deelklacht is dit niet vast te stellen. 

• Klachten ingetrokken of on-hoid. 21 klachten zijn ingetrokken en 8 klachten zijn on-hold gezet. Een 
klacht wordt door de CvAE on-hold gezet als er een kort geding is aangespannen (inclusief hoger 
beroep). De klacht kan daarna ook worden ingetrokken door de klager. 


Aantal klachten per maand 



Aantal klachten 
^^^Gemlddelde 2013 
^^^Gemlddelde 2014 


Figuur 11. Aantal ingediende klachten bij de Commissie van Aanbestedingsexperts per maand (N = 163). 


" De data komen voort uit een overzicht dat door de CvAE is aangeleverd bij de onderzoekers. De data zijn bijgewerkt tot 20 januari 2015. 
Er zijn dus enkel klachten uit 2013 en 2014 meegenomen. Het gaat telkens om het aantal ingediende klachten. Het gaat enkel om 
deelklachten als dit expliciet is aangegeven. 
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Klagers 

Het grootste deel van de klachten (118) is ingediend door het MKB.^^ 33 klachten zijn ingediend door het 
grootbedrijf en 12 klachten zijn ingediend door brancheorganisaties. Dit is opvallend, omdat de bekendheid 
van de CvAE onder het MKB beperkt is (zie ook bevinding 18). Het is daarom aannemelijk dat het aantal 
klachten zal toenemen indien de bekendheid onder het MKB toeneemt. 

Bevinding 20. Van de mogeiijkheid om te bemiddeien wordt in de praktijk geen gebruik gemaakt. De 
mogeiijkheden tot bemiddeiing zijn onbekend bij beianghebbenden. 

Bij de 163 ingediende klachten is bij slechts 4 klachten bemiddeld door de CvAE. Bij één van deze klachten was 
er alsnog behoefte aan een advies vanuit de klager en heeft de CvAE uiteindelijk ook een advies geschreven. 
De CvAE geeft aan bij iedere klacht te bekijken of bemiddeling tussen de partijen mogelijk is. 

Gesprekspartners verschillen van mening over de vraag of bemiddeling door de CvAE mogelijk zou moeten 
zijn. Enkele gesprekspartners vinden dat slechts bij uitzondering bemiddeling plaats kan vinden, omdat 
bemiddeling lastig is. Het aanbestedingsrecht kent volgens deze gesprekspartners strikte bepalingen waar het 
bilateraal contact tussen aanbesteders en inschrijvers betreft. Andere gesprekspartners betwijfelen of in 
sommige gevallen bemiddeling toch niet mogelijk zou zijn. Bemiddeling zonder de partijen bij elkaar aan tafel 
te zetten (bijvoorbeeld middels telefonische consultatie) schaadt volgens deze experts niet direct het 
gelijkheidsbeginsel. Daarnaast is bemiddeling doelmatiger dan advisering omdat er sneller duidelijkheid komt 
bij de betrokken partijen. 

In de bestudeerde cases geven klagers en beklaagden aan niet te zijn geconsulteerd over de vraag of 
bemiddeling mogelijk is. In een aantal cases is door betrokken partijen aangegeven dat zij achteraf gezien wel 
mogelijkheden zagen voor bemiddeling (maar dit niet hebben aangegeven bij de CvAE). 


5.3. Inhoud klachten 

Bevinding 21. De bij de Commissie van Aanbestedingsexperts ingediende kiachten zijn divers van aard. 
Kiachten gaan over verschiiiende aspecten en fasen van aanbestedingsprocedures. 

Onderstaande tabel geeft een overzicht van het aantal genoemde aspecten waar de klachten over gaan. 
Klagers geven op het klachtenformulier aan op welke aspecten de klacht betrekking heeft. Alle klachten gaan 
over meerdere aspecten. 


“ Onder het MKB worden bedrijven verstaan tot en met 250 werknemers. Van 2006 tot 2014 valt 99% van het totale bedrijfsleven onder 
het MKB (<250 werknemers). In 2014 is circa twee derde van de overheidsopdrachten gegund aan het MKB. Bron: Eindrapport: Effecten 
van de Aanbestedingswet 2012. Perceel 1: Deelname MKB aan overheidsopdrachten en het Feitenonderzoek (KWINK groep, 2015). 
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Onderwerp 

Aantal keer genoemd 

Gunningscriteria en het beoordelen van biedingen 

56 

Gunningsbeslissing en de motivering daarvan 

50 

Gebrekkige communicatie door aanbestedende dienst 

42 

Programma van eisen (bestek, inclusief conceptvoorwaarden) 

39 

Selectiecriteria en het selectieproces 

24 

Gedrag van de onderneming 

24 

Uitsluitingsgronden 

22 

De keuze van de procedure 

21 

Minimum geschiktheidseisen 

20 

Termijnen 

17 

Samenvoegen meerdere opdrachten of niet splitsen van opdracht en onbevoegd 
clusteren opdracht 

18 

De keuze van de ondernemers bij meervoudig onderhandse procedure 

3 

Onbekend 

1 


Tabel 1. Onderwerpen ingediende klachten (N = 163). 

In figuur 12 is te zien dat de CvAE voornamelijk klachten heeft ontvangen over Europese openbare procedures 
(73), nationale openbare procedures (28) en Europese niet-openbare procedures (25). 


■ Europees openbaar 

■ Nationaal openbaar 

■ Europees niet-openbaar 

■ Meervoudige onderhands 

■ Er is (nog) geen procedure toegepast 

■ Nationaal niet-openbaar 

■ Onbekend 

■ Mini competitie binnen 
raamovereenkomst 

■ EU onderhandelingsprocedure zonder 
aankondiging 

Figuur 12. Type aanbestedingsprocedure bij aantal ingediende klachten CvAE (N = 163). 



Uit de administratie van de CvAE blijkt dat de ontvangen klachten zich met name bevinden in de 
inschrijvingsfase (69) en in de standstillfase (47). Slechts een klein deel van de klachten is ingediend nadat 
onomkeerbare beslissingen zijn genomen door de aanbestedende dienst (figuur 13). 
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Fase van de aanbestedingsprocedure 



■ Inschrijvingsfase 


■ Inschrijving gesloten gunning nog niet 
bekend 


■ Standstillfase (gunning gecommuniceerd) 


■ Verstreken standstill, nog geen contract 


■ Overig 


■ Contract gesloten 


gesloten 


Figuur 13. Fase aanbestedingsprocedure waarin de klacht zich bevindt (N = 163).'*^ 

Bevinding 22. De Commissie van Aanbestedingsexperts heeft nog nauweiijks kiachten over de doeimatigheid 
van aanbestedingsprocedures ontvangen. 

Er zijn tot 1 januari 2015 drie klachten ontvangen over doelmatigheid, terwijl de breed gedeelde opvatting is 
dat er in de praktijk wel klachten zijn over de doelmatigheid van aanbestedingsprocedures.'*^ Gesprekspartners 
verschillen van mening over de vraag waarom de CvAE over dit onderwerp weinig klachten ontvangt. Ook 
verschillen de meningen over de rol van de CvAE bij het behandelen van dit type klachten. 

• De meeste advocaten, wetenschappers en vertegenwoordigers van aanbestedende diensten vinden dat 
de CvAE zich primair zou moeten richten op rechtmatigheid. Een argument hiervoor is dat de 
doelmatigheid meestal niet zwart-wit is en dat het (gegeven de werkwijze van de CvAE) daardoor 
moeilijker is om over dit onderwerp een advies uit te brengen. Een aantal gesprekspartners wijst erop 
dat doelmatigheid in de Aanbestedingswet 2012 als doel is opgenomen (artikelen 1.4,1.6 en 1.7). Zij 
zijn van mening dat doelmatigheid daarmee min of meer onderdeel is geworden van rechtmatigheid. 
Gesprekspartners geven aan te veronderstellen dat door het sterke juridische profiel van de CvAE 
minder klachten ingediend worden over doelmatigheid. Een aantal gesprekspartners doet de suggestie 
om een derde lid aan de CvAE toe te voegen met 'praktijkkennis' en/of 'een inkoopprofiel'. De CvAE 
stelt zelf dat deze expertise reeds beschikbaar is bij een groot aantal experts van de CvAE 

• Met name ondernemers en brancheorganisaties vinden dat de CvAE zich zou moeten uitspreken over 
doelmatigheid. Zij vergelijken rechtmatigheid met de spelregels en doelmatigheid met het 
daadwerkelijk goed spelen van het spel. Ook wordt door brancheorganisaties aangegeven dat zij van 
leden veel klachten ontvangen over de doelmatigheid van aanbesteden. Brancheorganisaties dienen 
alleen klachten bij de CvAE in die gaan over principiële onderwerpen of die branche-overstijgend zijn. 
Bijvoorbeeld over (de onderbouwing van) de keuze voor een bepaalde aanbestedingsprocedure 
(onevenredig veel inschrijvers gegeven de aard en omvang van de opdracht). 


“ In de inschrijvingsfase bevinden zich verschillende onderdelen namelijk dat de aankondiging van de opdracht nog niet is gepubliceerd, 
de aanmeldingsfase van gegadigden in een niet-openbare procedure, de aanmeldingsfase en de selectiefase van een niet-openbare 
procedure en de inschrijvingen zelf. 

" Er bestaan verschillende ideeën over het onderscheid tussen rechtmatigheid en doelmatigheid in de aanbestedingspraktijk. Sommige 
gesprekspartners vergelijken rechtmatigheid met de spelregels en doelmatigheid met het daadwerkelijk goed spelen van het spel. 
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• De CvAE hanteert als regel dat klachten behandeld worden voor zover deze gebaseerd zijn op een 
inbreuk op voorschriften in de Aanbestedingswet 2012 en de Gids Proportionaliteit. Dat kunnen ook 
doelmatigheidsklachten zijn, bijvoorbeeld als het gaat om klachten over de keuze van de 
aanbestedingsprocedure en de onderbouwing daarvan, de vraag of eisen proportioneel zijn en de vraag 
of zo veel mogelijk maatschappelijke waarde voor de publieke middelen wordt geleverd. Zij geven 
echter aan tot op heden nauwelijks klachten te hebben ontvangen die enkel en alleen betrekking 
hebben op de doelmatigheid van een aanbesteding. 


5.4. Waardering van de adviezen 

Bevinding 23. De adviezen van de Commissie van Aanbestedingsexpeits zijn begrijpeiijk en bruikbaar. 

Er zijn 55 adviezen gepubliceerd op de website van de CvAE."^^ De adviezen worden door respondenten 
overwegend positief beoordeeld (figuur 14). 


• Bijna de helft van de respondenten (48%) geeft aan de adviezen van de CvAE regelmatig te raadplegen. 
Een grote meerderheid van de respondenten (66%) vindt de adviezen van de CvAE (zeer) begrijpelijk. 
Ook over de bruikbaarheid van de adviezen zijn respondenten positief. 63% vindt de adviezen (zeer) 
bruikbaar. 

• De beelden uit de gesprekken bevestigen dit beeld niet. Bij de begrijpelijkheid van de adviezen wordt in 
de gesprekken een aantal kanttekeningen geplaatst. Veel gesprekspartners zijn van mening dat de 
adviezen van de CvAE zeer doorwrocht en inhoudelijk sterk zijn. Dit leidt er volgens veel 
gesprekspartners toe dat de adviezen vaak een juridisch karakter hebben. Veelal wordt opgemerkt dat 
dit de leesbaarheid voor (met name juridisch niet-onderlegde) inkopers en ondernemingen niet ten 
goede komt. 


Beoordeling adviezen CvAE 


100 % 1 


80% 


60% - 



40% 


20 % - 




De adviezen van de Commissie raadpleeg De adviezen van de Commissie zijn 
ik regelmatig begrijpelijk 

■ Zeereens ■ Eens ■ Niet oneens/niet eens «Oneens «Zeer oneens 


De adviezen van de Commissie zijn 
bruikbaar 


Figuur 14: Waardering van de adviezen door direct en niet direct betrokkenen die bekend zijn met de adviezen (N = 560). 


“ Peildatum is 20 april 2015. Het aantal gepubliceerde adviezen is lager dan het aantal uitgebrachte adviezen, omdat een advies pas wordt 
gepubliceerd op de website als de betreffende aanbestedingsprocedure en eventuele juridische vervolgstappen zijn afgerond. 
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Bevinding 24. Respondenten zijn overwegend positief over de inhoud van de adviezen. 

In algemene zin kan worden vastgesteld dat de respondenten overwegend positief zijn over de inhoud van de 
adviezen. Opvallend weinig respondenten zijn het (zeer) oneens met de stellingen (figuur 15). Dit komt 
overeen met het positieve beeld van de zorgvuldigheid van de CvAE (zie paragraaf 4.4). 


• Respondenten zijn het positiefst over de onderbouwing van de adviezen en de belichting van de 
verschillende standpunten. 64% van de respondenten vindt dat de adviezen de verschillende 
standpunten goed belichten. 67% vindt de adviezen goed onderbouwd. 

• Respondenten zijn ook positief over de praktische toepasbaarheid. Ook geeft 53% van de respondenten 
aan dat de adviezen van aanvulling zijn op de jurisprudentie voor de toepassing van de 
aanbestedingsregels. Een voorbeeld dat hierbij vaak wordt genoemd zijn de adviezen over het 
samenvoegen van opdrachten. De CvAE heeft hier meermaals over geadviseerd en hiermee een lijn 
uitgestippeld die in de aanbestedingspraktijk kan worden gevolgd. 

• Respondenten zijn het meest kritisch op de mate waarin de adviezen vernieuwend en zwaarwegend 
zijn. De adviezen bevatten volgens 33% van de respondenten vernieuwende inzichten, 12% is het hier 
niet mee eens. Ook de zwaarwegendheid van de adviezen wordt door slechts 34% als positief 
beoordeeld, 21% is het hiermee niet eens. De CvAE geeft aan dat het lastig is vernieuwende inzichten te 
bieden indien klachten betrekking hebben op reeds bekende rechtmatigheidsvraagstukken. 


Beoordeling adviezen CvAE 
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Commissie zijn goed 
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toepassing van 
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Commissie zijn 
zwaarwegend 


I Oneens 


I Niet oneens/ niet eens 


I Eens 


I Zeer eens 


Figuur 15. Beoordeling inhoud adviezen door zowel direct als niet direct betrokkenen (N = 560). 


Een laatste indicatie van de waardering voor de adviezen is dat een grote meerderheid van de respondenten in 
de enquête aangeeft dat zij nogmaals een klacht zouden indienen bij de CvAE. Dit geldt zowel voor 
respondenten waarvan een eerdere klacht niet in behandeling is genomen door de CvAE (67%) als voor 
respondenten waarvan de eerdere klacht wel in behandeling is genomen (71%). 


KWINK 


GROEP 


37 

















5.5. Doorlooptijd en kritieke termijnen van 
aanbestedingsprocedures 


Bevinding 25. De totaie dooriooptijd van Machten past vaak niet binnen de termijnen die in 
aanbestedingsprocedures zijn gesteid. 

Uit de cijfers, de enquête en de gesprekken volgt het beeld dat de CvAE voor het uitbrengen van een advies 
vaak meer tijd nodig heeft dan in de aanbestedingsprocedure beschikbaar is. Aanbestedende diensten kunnen 
of willen de termijnen niet altijd verlengen in afwachting van een advies. Hierdoor kan de situatie ontstaan dat 
een advies pas beschikbaar komt wanneer de aanbestedende dienst reeds een onomkeerbare beslissing 
(definitieve gunningsbeslissing) heeft genomen. 

Feiten. De 110 klachten die in 2014 bij de CvAE zijn ingediend kennen een grote variatie in doorlooptijd van 
0,5 kalenderdag tot 125 kalenderdagen.^® Hierna worden de gemiddelde doorlooptijden gepresenteerd van 
een aantal type klachten. Waar mogelijk wordt een vergelijking gemaakt met de gemiddelde doorlooptijden 
van 430 aanbestedingsprocedures (cijfers 2014).“ Alle dagen zijn kalenderdagen. 

• De gemiddelde doorlooptijd van in behandeling genomen klachten met een niet-kritieke termijn in 
2014 is bijna 100 kalenderdagen (dit zijn klachten waar het advies van de CvAE geen invloed meer heeft 
op het verloop van de aanbestedingsprocedure). De gemiddelde doorlooptijd van in behandeling 
genomen klachten met een kritieke termijn is 41 kalenderdagen. 

• De gemiddelde doorlooptijd van de in behandeling genomen klachten die zijn ingediend in de 
inschrijffase (tot de inschrijfdatum) bij de CvAE bedraagt 37 dagen. Het is aannemelijk dat deze 
klachten zijn ingediend nadat de aanbestedende dienst de antwoorden op de eerste Nota van 
inlichtingen heeft gepubliceerd. De tijd tussen de eerste Nota van inlichtingen en de inschrijfdatum in 
de 430 aanbestedingsprocedures bedraagt gemiddeld 16 dagen. Het kan op basis van deze cijfers 
voorkomen dat de CvAE advies uitbrengt over klachten die in de inschrijffase zijn ingediend als de 
inschrijfdatum reeds is verstreken. Op dat moment kan het advies geen invloed meer hebben op de 
keuze van een ondernemer om een offerte uit te brengen of op de inhoud van de offerte. 

• De gemiddelde doorlooptijd van de in behandeling genomen klachten die zijn ingediend in de 
opschortende vervaltermijn®^ (na de voorlopige gunning, maar voor de einddatum van de opschortende 
vervaltermijn) bij de CvAE bedraagt 47 dagen. De tijd tussen de voorlopige gunning en de einddatum 
van de opschortende vervaltermijn in de 430 aanbestedingsprocedures bedraagt gemiddeld 21 dagen. 
Het kan op basis van deze cijfers voorkomen dat de CvAE advies uitbrengt over klachten die in de 
standstilfase zijn ingediend nadat de einddatum van de opschortende vervaltermijn is verstreken (en er 
een onomkeerbaar besluit is genomen). 

Een kanttekening bij deze cijfers is dat het hier gaat om gemiddelden: op basis van dit onderzoek is niet 
bekend of de CvAE in individuele procedures binnen de termijnen heeft geadviseerd. Voorts kan de CvAE het 
verzoek doen om de inschrijfdatum of de einddatum van de opschortende vervaltermijn uit te stellen in 
afwachting van het advies. Uit haar eigen administratie blijkt dat de CvAE 44 keer een verzoek heeft gedaan 
aan de aanbestedende dienst om de termijnen te verlengen. Aanbestedende diensten hebben 18 keer dit 
verzoek gehonoreerd, 11 keer is dit verzoek afgewezen en 15 keer bleek dit verzoek niet nodig (bijvoorbeeld 


“ De doorlooptijden zijn gebaseerd op de administratie van de CvAE. Bij 9 klachten is de doorlooptijd onbekend omdat deze klachten nog 
in behandeling zijn. Verder is de doorlooptijd niet bekend bij klachten die on-hold staan. Klachten kunnen worden stilgezet {on-hold] als er 
een kort geding of hoger beroep plaatsvindt. De klacht kan daarna ook worden ingetrokken. 

™ Eindrapport; Effecten van de Aanbestedingswet 2012. Perceel 1: Deelname MKB aan overheidsopdrachten en het Feitenonderzoek 
(KWINK groep, 2015). 

http://www.pianoo.nl/metrokaart/opschortende-termiin 
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omdat de procedure reeds is afgerond). In de gevallen dat het verzoek is gehonoreerd heeft de CvAE naar 
eigen zeggen binnen de verlengde termijnen geadviseerd. 


Uitkomsten enquête. De doorlooptijd is het aspect van de dienstverlening waarop aanbestedende diensten en 
ondernemingen betrokken bij de behandeling van een klacht het meest kritisch zijn. Respondenten die 
betrokken waren bij de behandeling van een klacht door de CvAE stellen dat de doorlooptijd van de klacht in 
61% van de gevallen niet paste binnen de termijnen van de aanbestedingsprocedure (28% gaf aan dat het wel 
paste). Voorts geeft 42% van de respondenten aan dat de aanbestedende dienst niet bereid was om de 
wettelijke minimumtermijnen te verlengen in afwachting van het advies van de CvAE (bij 32% was er wel 
bereidheid). Er is een verband tussen deze twee vragen, aangezien het niet bereid zijn om termijnen te 
verlengen een gedeeltelijke verklaring vormt voor het niet passen van klachtenprocedures binnen de 
termijnen. Tegelijkertijd blijkt ook uit de enquête dat 44% van de respondenten de gehele doorlooptijd van de 
behandeling van de klacht als (zeer) positief beoordelen terwijl 34% hier (zeer) negatief over oordeelt (zie 
bevinding 17. 


Paste de doorlooptijd van de behandeling van 
de klacht binnen de termijn(en) van de 
aanbestedingsprocedure? 



■ Ja 

■ Nee 

■ Onbekend, de klacht is 
nog in behandeiing 

■ Weet ik niet 


Was de beklaagde bereid om de termijn(en) 
binnen de aanbestedingsprocedure te 
verlengen in afwachting van het advies van 
de CvAE? 



■ Ja 

■ Nee 

■ Dit was niet nodig 

■ Weet ik niet 


Figuur 16. Direct betrokkenen over de dooriooptijd van de behandeiing van de kiacht (N = 156). Figuur 17. Direct betrokkenen over de 
bereidheid van de bekiaagde om de termijnen te veriengen (N = 148). 


Gesprekken. In de verdiepende gesprekken wordt het beeld dat de doorlooptijd van het behandelen van 
klachten niet past binnen de kritieke termijnen onderschreven. Volgens gesprekspartners zou de lange 
doorlooptijd klagers kunnen afschrikken om nogmaals een klacht in te dienen en heeft deze zo mogelijk een 
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effect op de laagdrempeligheid van de CvAE. Dit geldt zowel voor klachten met een kritieke termijn als 
klachten zonder kritieke termijn. Voorts geven gesprekspartners aan dat aanbestedende diensten de 
wettelijke minimumtermijnen vaak niet kunnen verlengen (er is in die gevallen dus geen sprake van onwil). De 
CvAE zelf stelt dat de wettelijk gestelde minimumtermijnen in veel gevallen niet haalbaar zijn voor een 
zorgvuldig advies. 
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6. Outcome 


In dit hoofdstuk presenteren we onze bevindingen en de onderliggende feiten en percepties ten 
aanzien van de mate waarin de drie doelstellingen van de Commissie van Aanbestedingsexperts zijn 
gerealiseerd. 


6.1. Bijdrage aan de oplossing van aanbestedingsklachten 

Bevinding 26. De adviezen van de Commissie van Aanbestedingsexperts dragen in bijna de heift van de 
gevaiien bij aan het opiossen van de betreffende aanbestedingskiacht. 

Uit de enquêteresultaten blijkt dat 46% van de direct betrokken respondenten vindt dat de CvAE heeft 
bijgedragen aan het oplossen van de aanbestedingskiacht. Respondenten noemen bijvoorbeeld dat "het 
advies er toe heeft bijgedragen dat de gemeente een andere koers is gaan varen", "de Commissie heeft de 
klacht niet in behandeling genomen, maar het heeft wel tot een goed gesprek geleid tussen de aanbestedende 
dienst en klager” en "de aanbestedende dienst heeft het oordeel van de Commissie ter harte genomen en onze 
inzending alsnog beoordeeld". Er zijn ook respondenten (39%) die stellen dat het advies niet heeft bijgedragen 
aan een oplossing. Een respondent gaf bijvoorbeeld aan dat de aanbestedende dienst het advies naast zich 
neer heeft gelegd. "Bij voorbaat gaf de aanbestedende dienst aan het advies van de Commissie terzijde te 
leggen indien het niet in hun voordeel was. Immers, het advies is niet-bindend." 

Bevinding 27. De adviezen van de Commissie van Aanbestedingsexperts leiden in beperkte mate tot 
wederzijds begrip tussen klager en beklaagde. 

Het advies of de bemiddeling draagt niet altijd bij aan wederzijds begrip tussen klager en wederpartij. 42% van 
de respondenten stelt dat het advies van de CvAE niet heeft geleid tot wederzijds begrip, 14% stelt dat het 
advies wel heeft geleid tot wederzijds begrip. In gesprekken wordt als verklaring genoemd dat klagers en 
beklaagden bij de behandeling van de klacht geen contact met elkaar hebben. Daardoor vindt bijvoorbeeld 
geen uitwisseling van standpunten plaats. 
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Figuur 18. Beoordeiing doorwerking van adviezen door direct betrokken partijen (N = 124). 
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Bevinding 28. Op basis van dit onderzoek wordt niet duideiijk of aanbestedende diensten bevatteiijker zijn 
voor een kiacht wanneer een kiager aangeeft zijn kiacht bij de Commissie van Aanbestedingsexperts 
aanhangig te wiiien maken. 

In de enquête is door 25% van de respondenten aangegeven dat een aanbestedende dienst of onderneming 
bevattelijker is voor een aanbestedingsklacht wanneer één van de partijen aangeeft naar de CvAE te willen 
stappen; 27% is het hiermee oneens. Uitsplitsing van de enquêteresultaten laat geen opvallende verschillen 
zien tussen aanbestedende diensten en ondernemingen. Wel antwoordt de groep 

experts/advocaten/adviseurs/wetenschappers gemiddeld positiever op de stelling (34% eens) dan de andere 
respondenten. Dit beeld stemt overeen met de beelden uit gesprekken. Met name gesprekspartners vanuit de 
advocatuur en wetenschap zijn van mening dat schermen met de CvAE, door marktpartijen, aanbestedende 
diensten bevattelijker kan maken voor het oplossen van klachten. Zo wordt aangegeven dat de adviezen 
serieus worden genomen door de rechter en daarmee niet te negeren vallen. Dit blijkt ook uit een aantal 
vonnissen®^ waarin wordt verwezen naar de adviezen van de CvAE. Andere gesprekspartners erkennen dat de 
adviezen serieus worden genomen door de rechter, maar wijzen ook op de andere belangen die 
aanbestedende diensten hebben en die in sommige gevallen prevaleren (zoals het nakomen van een politieke 
toezegging of het binnen de termijnen besteden van een budget). 
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Figuur 19. Stelling 1: door de mogelijkheid om een klacht in te dienen bij de CvAE is mijn organisatie minder geneigd een kort geding of 
een rechtszaak aan te spannen. Stelling 2: een aanbestedende dienst of onderneming is bevattelijker voor een klacht wanneer één van de 
partijen aangeeft naar de CvAE te willen stappen (N = 831). 


6.2. Leereffecten professionaliteit 

Alvorens de bevindingen over de bijdrage van de CvAE aan het teweegbrengen van een leereffect en het 
verder verbeteren van de professionaliteit van de aanbestedingspraktijk te presenteren, merken we op dat 
deze begrippen niet nader zijn gedefinieerd in de Toelichting bij het Instellingsbesluit en het Reglement van de 
CvAE (zie ook Hoofdstuk 2). Gesprekspartners geven een verschillende interpretatie aan deze begrippen en 
hebben daardoor verschillende verwachtingen van de wijze waarop de CvAE daar invulling aan kan geven. 


“ Bijvoorbeeld: de zaak tussen BAM en de gemeente Zevenaar (uitspraak ECLI:NL:RBGEL:2014:454), de zaak tussen Canon en de 
gemeente Etten-Leur, gemeente Tholen en de gemeente Steenbergen (uitspraak ECLI:NL:RBZWB:2014:7530) en de zaak tussen Snaas 
Metaalwaren en de gemeente Uithoorn (uitspraak ECLI:NL:RBDEIA:2014:16374). 
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Bevinding 29. De doorwerking van de adviezen in aanbestedingsprocedures en in het aanbestedingsbeieid 
van aanbestedende diensten is beperkt. 

Op grond van de enquête en percepties van gesprekspartners blijkt dat adviezen maar in beperkte mate leiden 
tot aanpassingen in aanbestedingsprocedures en het algemene aanbestedingsbeleid van aanbestedende 
diensten. Van de respondenten (N = 124) die direct betrokken waren bij de behandeling van een klacht, is 24% 
het eens met de stelling dat de uitkomst van de klachtenprocedure bij de CvAE heeft geleid tot een concrete 
wijziging in de betreffende aanbestedingsprocedure (55% oneens). 9% van deze respondenten is het eens met 
de stelling dat de uitkomst van de klachtenprocedure bij de CvAE heeft geleid tot een concrete wijziging in het 
algemene aanbestedingsbeleid van de aanbestedende dienst waar de klacht betrekking op had (55% oneens). 

Ook in andere / navolgende procedures leiden adviezen maar in beperkte mate tot concrete wijzigingen in een 
aanbestedingsprocedure of in het algemene aanbestedingsbeleid. Een grote meerderheid van de 
aanbestedende diensten geeft aan geen wijzigingen te hebben doorgevoerd in een aanbestedingsprocedure 
(66%) of het algemene aanbestedingsbeleid (76%) (figuur 20). 


Doorwerking adviezen aanbestedende diensten 


100 % 

80% 

60% 

40% 

20 % 

0 % 



20% 


17% 


■ 

66% 


76% 

■ 


14% 






7% 



Door het advies van de Commissie heeft mijn organisatie Een advies van de Commissie heeft geieid tot een 
een concrete wijziging doorgevoerd in een specifieke concrete wijziging in het aigemene aanbestedingsbeieid 
aanbestedingsprocedure van mijn organisatie 


■ Ja BNee HWeetikniet 


Figuur 20. Beoordeling doorwerking van adviezen door aanbestedende diensten (Aldus aanbestedende diensten, N = 268). 


De respondenten die antwoordden dat de uitkomst van de klachtenprocedure wél heeft geleid tot concrete 
wijzigingen in de betreffende aanbestedingsprocedure, zijn gevraagd om aan te geven welke zaken veranderd 
zijn in de procedure (N = 46, meerdere antwoorden mogelijk): 


• Gunningscriteria en het beoordelen van biedingen (8x) 

• Gunningsbeslissing en de motivering daarvan (7x) 

• Samenvoegen of niet splitsen opdracht (4x) 

• Selectiecriteria en het selectieproces (4x) 

• Programma van eisen (bestek, inclusief conceptvoorwaarden) (4x) 

• Minimum geschiktheidseisen (3x) 

• Communicatie door aanbestedende dienst (3x) 

• De keuze van de procedure (2x) 

• De aanbesteding is uitgesteld (lx) 

• Anders (8x) of weet ik niet (2x) 


KWINK 


GROEP 


43 













Bevinding 30. Ondanks het beperkte ieereffect, iijkt de Commissie van Aanbestedingsexperts in de praktijk 
wei een bijdrage te ieveren aan de professionaiisering van de aanbestedingspraktijk. 

Aanbestedende diensten zijn in de enquête redelijk positief over de bijdrage van de CvAE aan de verbetering 
van de aanbestedingspraktijk. Bijna de helft van de respondenten van aanbestedende diensten (44%) is van 
mening dat de adviezen van de CvAE leiden tot een verbetering van de aanbestedingspraktijk. 18% is het 
hiermee niet eens. Gesprekspartners zijn van mening dat de adviezen van de CvAE hebben geholpen bij de 
interpretatie van de Aanbestedingswet. Ook wordt opgemerkt dat de CvAE een aanvulling vormt op andere 
mogelijkheden om een klacht in te dienen. De CvAE is volgens gesprekspartners in haar oordeel veelal 
uitgebreider dan de rechter. Genoemd wordt dat de "Commissie een aantal piketpalen heeft geslagen" en "de 
Commissie een aantal zaken zoals samenvoegen en clusteren goed heeft verduidelijkt". 


Adviezen van de CvAE leiden tot een verbetering van de aanbestedingspraktijk 
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Figuur 21. Steliing: de adviezen van de CvAE ieiden tot een verbetering van de aanbestedingspraktijk (aidus aanbestedende diensten, 
N=268). 


Er is hier sprake van een schijnbare tegenstelling in de enquêteresultaten: de doorwerking van de adviezen in 
andere aanbestedingsprocedures en in het aanbestedingsbeleid van aanbestedende diensten is beperkt, maar 
veel respondenten zijn wel van mening dat de adviezen leiden tot verbetering van de aanbestedingspraktijk. 
Op basis van de verdiepende gesprekken is een mogelijke verklaring dat respondenten zelf hun procedures en 
beleid niet aanpassen, maar wel denken dat de adviezen van meerwaarde zijn voor andere partijen. Een 
andere verklaring is dat doorwerking ook kan plaatsvinden zonder dat dit direct zichtbaar is in 
aanbestedingsprocedures of -beleid. Er wordt in de gesprekken bijvoorbeeld opgemerkt dat inkopers bij 
aanbestedende diensten hun kennis vergroten met de adviezen, maar dit pas op de lange termijn leidt tot 
wijzigingen. 
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7. Conclusies 


In de Toelichting bij het Instellingsbesluit is bepaald dat twee jaar na de instelling van de CvAE zal worden 
geëvalueerd of de beoogde doelen zijn gerealiseerd. In deze evaluatie wordt een antwoord gegeven op twee 
onderzoeksvragen: 

1. Doeltreffendheid: In welke mate heeft de CvAE de doelstellingen zoals geformuleerd in de Toelichting 
bij het Instellingsbesluit®^ behaald? In welke mate draagt de werkwijze van de CvAE bij aan die 
doelstellingen? 

2. Doelmatige taakuitvoering: In hoeverre is de werkwijze van de CvAE doelmatig? 

In dit hoofdstuk presenteren we onze conclusies. In de kantlijn is weergegeven in welke paragrafen u een 
nadere toelichting kunt vinden. 


7 . 1 . Doeltreffendheid 

Conclusie 1. De Commissie van Aanbestedingsexperts vormt een aanvulling op andere 
mogelijkheden om aanbestedingsklachten te behandelen. In bijna de helft van de gevallen 
draagt een advies bij aan de oplossing van de betreffende aanbestedingsklacht. Een 
kortere doorlooptijd van de adviezen en vergroting van de bekendheid van de Commissie 
kan de doeltreffendheid vergroten. 

We baseren deze conclusie op de volgende tien bevindingen: 

Sinds de instelling van de Commissie van Aanbestedingsexperts op 1 april 2013 tot 1 januari 2015 zijn er 163 
klachten ingediend. Met name het MKB dient aanbestedingsklachten in bij de Commissie van 
Aanbestedingsexperts. Klachten hebben voornamelijk betrekking op rechtmatigheidsaspecten van 
aanbestedingsprocedures en nauwelijks op doelmatigheidsaspecten. 

In 2014 zijn 110 klachten ingediend en in 2013 (vanaf 1 april) zijn 53 klachten ingediend. Het grootste deel van 
de klachten (118) is ingediend door het MKB.®'* * 33 klachten zijn ingediend door het grootbedrijf en 12 klachten 
zijn ingediend door brancheorganisaties. Aanbestedende diensten hebben niet van de mogelijkheid gebruik 
gemaakt om een klacht in te dienen (en hebben daar ook geen behoefte aan). De meeste klachten hebben 
betrekking op de gunningscriteria, de beoordeling van biedingen, de gunningsbeslissing en de motivering van 


In de Toelichting bij het Instellingsbesluit zijn de volgende doelstellingen genoemd; 

• Door een snelle, zorgvuldige en laagdrempelige behandeling van klachten bijdragen aan de oplossing van aanbestedingsklachten. 

• Een leereffect teweegbrengen bij ondernemingen en aanbestedende diensten. 

• De professionaliteit van de aanbestedingspraktijk verder verbeteren. 

Onder het MKB worden bedrijven verstaan tot en met 250 werknemers. Van 2006 tot 2014 valt 99% van het totale bedrijfsleven onder 
het MKB (<250 werknemers). In 2014 is circa twee derde van de overheidsopdrachten gegund aan het MKB. (Eindrapport: Effecten van de 
Aanbestedingswet 2012. Perceel 1: Deelname MKB aan overheidsopdrachten en het Feitenonderzoek). 
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de gunningsbeslissing. De CvAE heeft 93 klachten in behandeling genomen. 61 klachten zijn niet in 
behandeling genomen^^ en bij 9 klachten is dit nog niet bekend omdat deze klachten on-hold zijn gezet. 


De 163 ingediende klachten hebben met name betrekking op de rechtmatigheid van 
aanbestedingsprocedures.De CvAE ontvangt nauwelijks klachten die betrekking hebben op de 
doelmatigheid van aanbestedingen (3 stuks tot 1 januari 2015). Met name ondernemers en 
brancheorganisaties geven aan het van belang te vinden dat zij met klachten over de doelmatigheid van 
aanbestedingsprocedures (bijvoorbeeld ten aanzien van de gekozen procedure) bij de CvAE terecht kunnen. 
Gesprekspartners merken op dat het beperkte aantal klachten over doelmatigheid mogelijk wordt verklaard 
door het sterke juridische profiel van de leden van de CvAE. 

De Commissie van Aanbestedingsexperts is een deskundig en onafhankelijk orgaan. 

Respondenten zijn in de enquête zeer positief over de deskundigheid van de CvAE. 72% van de respondenten 
die betrokken zijn geweest bij de behandeling van een klacht ziet de CvAE als een deskundig orgaan voor de 
behandeling van aanbestedingsklachten (9% is het hiermee oneens). 49% van de respondenten die betrokken 
zijn geweest bij een klacht vindt de door de CvAE geselecteerde aanbestedingsexperts gezaghebbend (9% is 
het hiermee oneens). 55% van de respondenten geeft aan de CvAE als een onafhankelijk orgaan te zien (5% is 
het hiermee oneens). Gesprekspartners geven aan dat de onafhankelijkheid van de leden in de praktijk niet ter 
discussie staat. 


De klachtenprocedure is zorgvuldig en de kwaliteit van de adviezen is hoog. 

63% van de respondenten geeft aan (zeer) tevreden te zijn over de zorgvuldigheid waarmee de CvAE de klacht §4.4 

heeft behandeld (17% is ontevreden over de zorgvuldigheid). 52% geeft aan (zeer) tevreden te zijn over de §5-4 

kwaliteit van het advies (23% is ontevreden over de kwaliteit). Respondenten en gesprekspartners vinden de 
adviezen begrijpelijk en bruikbaar en zijn positief over de inhoud van de adviezen. 

Illustratief voor de waardering voor de adviezen is dat een meerderheid van de respondenten in de enquête 
aangeeft dat zij nogmaals een klacht zou indienen bij de CvAE. Dit geldt zowel voor respondenten waarvan een 
eerdere klacht niet in behandeling is genomen door de CvAE (67%) als voor respondenten waarvan een klacht 
wel in behandeling is genomen (71%). 

De Commissie van Aanbestedingsexperts is een laagdrempelig orgaan voor het behandelen van 

§4.3 

aanbestedingsklachten. 

In de enquête geeft bijna de helft (49%) van de respondenten aan dat het indienen van een klacht bij de CvAE 
laagdrempelig is (9% is het hiermee oneens). Argumenten voor de laagdrempeligheid zijn onder ander dat de 
CvAE zonder juridische ondersteuning toegankelijk is voor ondernemingen, kosteloos is en een (voor leken) 
relatief eenvoudige (niet gejuridiseerde) procedure kent. Ook ervaren partijen die een klacht indienen een 
minder groot risico op beschadiging van de relatie met de andere partij dan wanneer ze een klacht bij de 
rechter zouden indienen. 


“ De CvAE kan besluiten een klacht niet in behandeling te nemen. Bijvoorbeeld wanneer zij van oordeel is dat de klacht onvoldoende is 
gemotiveerd, de Aanbestedingswet 2012 niet van toepassing is, de klacht niet eerst is ingediend bij de beklaagde of er geen redelijke 
termijn voor reactie aan de beklaagde is geboden. 

“ Er bestaan verschillende ideeën over het onderscheid tussen rechtmatigheid en doelmatigheid in de aanbestedingspraktijk. Sommige 
gesprekspartners vergelijken rechtmatigheid met de spelregels en doelmatigheid met het daadwerkelijk goed spelen van het spel. 
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De Commissie van Aanbestedingsexperts vormt een aanvulling op andere mogelijkheden om 

aanbestedingsklachten in te dienen. §4 ^ 

Uit de enquêteresultaten blijkt dat een grote meerderheid van de respondenten (67%) van mening is dat de 
CvAE een aanvulling vormt op andere mogelijkheden om een aanbestedingsklacht in te dienen (5% is het 
hiermee oneens). Dit beeld wordt door gesprekspartners bevestigd. Aangegeven wordt dat de toegevoegde 
waarde met name geldt voor aanbestedingsklachten waar de klager niet 100% zeker is van zijn zaak, klachten 
in de beginfase van de procedure (voorafgaand aan de gunning) en klachten over kleine opdrachten. Ook 
wordt aangegeven dat de CvAE voor (met name) het MKB de toegang tot een onafhankelijk en deskundig 
klachtenorgaan heeft verbeterd. 

Een derde van ondernemers is goed bekend met de Commissie van Aanbestedingsexperts. ^ 

30% van de geënquêteerde ondernemers is goed bekend met de mogelijkheid om een klacht in te dienen bij 
de CvAE, terwijl nog eens 44% beperkt bekend is met die mogelijkheid. Onder het MKB met minder dan 50 
werknemers is dat percentage 19%, respectievelijk 44% . Een aantal gesprekspartners suggereert dat de CvAE 
moet (laten) onderzoeken hoe de bekendheid onder de primaire doelgroep kan worden vergroot en welke rol 
brancheorganisaties hierin kunnen vervullen. Voorts blijkt uit de enquête dat dat de bekendheid van de 
adviezen onder aanbestedende diensten en ondernemers verder kan worden vergroot. Gesprekspartners 
doen de suggestie om toegankelijke (niet-juridische) samenvattingen van adviezen te publiceren op de website 
en om publicaties te ontsluiten via bijvoorbeeld PIANOo. 

De Commissie van Aanbestedingsexperts heeft voor het uitbrengen van een advies vaak meer tijd nodig dan 
in de aanbestedingsprocedure beschikbaar is. 

§5 5 

Aanbestedende diensten kunnen of willen de termijnen niet altijd verlengen in afwachting van een advies. 

Hierdoor kan de situatie ontstaan dat een advies pas beschikbaar komt wanneer de aanbestedende dienst 
reeds een onomkeerbare beslissing (definitieve gunningsbeslissing) heeft genomen. 

• De gemiddelde doorlooptijd van klachten met een niet-kritieke termijn in 2014 is bijna 100 
kalenderdagen. De gemiddelde doorlooptijd van in behandeling genomen klachten in 2014 met een 
kritieke termijn is 41 kalenderdagen. De doorlooptijden van de klachtenprocedure zijn vergeleken met 
de gemiddelde termijnen in een steekproef van 430 aanbestedingsprocedures. Op basis van deze 
vergelijking is het aannemelijk dat het voorkomt dat (1) de CvAE advies uitbrengt over klachten die in 
de inschrijffase zijn ingediend nadat de inschrijfdatum is verstreken en (2) dat de CvAE advies uitbrengt 
over klachten die in de opschortende vervaltermijn^® zijn ingediend nadat de einddatum van de 
opschortende vervaltermijn is verstreken (en een onomkeerbaar besluit is genomen). De impact van 
een advies op de betreffende procedure zal in dergelijke gevallen geringer zijn dan wanneer dan 
wanneer het advies eerder beschikbaar zou zijn gekomen. 

• Aanbestedende diensten en ondernemingen betrokken bij de behandeling van een klacht zijn kritisch 
over deze doorlooptijden. 61% geeft aan dat de behandeling van de klacht door de CvAE niet paste 
binnen de termijnen van de aanbestedingsprocedure (28% gaf aan dat het wel paste). 

• Dat de behandeling van klachten niet in alle gevallen paste binnen de termijnen van de procedure, 
kwam mede doordat aanbestedende diensten niet altijd bereid waren de termijnen te verlengen in 
afwachting van een advies van de CvAE. Van de respondenten geeft 42% aan dat de aanbestedende 
dienst niet bereid was om de wettelijke minimumtermijnen te verlengen in afwachting van het advies 
van de CvAE (bij 32% was er wel bereidheid). Dit beeld wordt bevestigd door de cijfers van de CvAE: de 
CvAE heeft 44 keer de aanbestedende dienst een verzoek gedaan om de termijnen te verlengen. 


” Voor het MKB vormen de kosten van een gang naar de rechter en het risico op beschadiging van de relatie een groter bezwaar dan voor 
grotere bedrijven. Bovendien neemt het MKB relatief vaker deel aan kleine opdrachten. 
http://www.pianoo.nl/metrokaart/opschortende-termiin . 
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Aanbestedende diensten hebben 18 keer dit verzoek gehonoreerd, 11 keer is dit verzoek afgewezen en 
15 keer bleek dit verzoek niet meer nodig. In de gevallen dat het verzoek is gehonoreerd heeft de CvAE 
naar eigen zeggen wel binnen de verlengde termijnen geadviseerd. 

Klagers en beklaagden zijn gemiddeld genomen wel positief over de termijn waarop zij uitsluitsel ontvangen 

§4.5 

over het in behandeling nemen van een klacht. Deze termijn bedraagt zeven tot negen kalenderdagen. 

De adviezen van de Commissie van Aanbestedingsexperts dragen in bijna de helft van de gevallen bij aan de 
oplossing van de betreffende aanbestedingsklacht. 

46% van de ondernemers en aanbestedende diensten, die direct betrokken zijn geweest bij een klacht, geeft 

aan dat het advies van de CvAE heeft bijgedragen aan het oplossen van de aanbestedingsklacht. 39% vindt dat ^fds 

het advies niet heeft bijgedragen. Door 25% van de respondenten wordt aangegeven dat een aanbestedende 

dienst of onderneming bevattelijker is voor een aanbestedingsklacht wanneer één van de partijen aangeeft 

naar de CvAE te willen stappen, maar daar is 27% het mee oneens. Uit de gesprekken volgt eveneens een 

verdeeld beeld: sommige gesprekspartners stellen dat de adviezen van de CvAE serieus worden genomen door §6.i 

de rechter en daarmee niet te negeren vallen, terwijl andere gesprekspartners van mening zijn dat 

aanbestedende diensten vaak andere belangen laten prevaleren boven het opvolgen van het advies van de 

CvAE. Voorbeelden hiervan zijn het nakomen van een politieke toezegging of het binnen de termijnen 

besteden van een budget. Ook de verhoudingsgewijs lange doorlooptijd van adviezen (zie de vorige bevinding) 

is in gesprekken genoemd als reden waarom de bijdrage van de CvAE aan het oplossen van 

aanbestedingsklachten beperkt is. Gesprekspartners geven een uiteenlopende interpretatie aan de 

doelstelling van de Commissie om 'bij te dragen' aan het 'oplossen' van aanbestedingsklachten. Met name bij 

ondernemers blijkt vaak de verwachting te bestaan dat de CvAE klachten daadwerkelijk oplost. 

De Commissie van Aanbestedingsexperts kan mogelijk vaker bijdragen aan wederzijds begrip tussen klager 
en wederpartij wanneer zij vaker bemiddelt in plaats van adviseert. 

Het advies of de bemiddeling draagt niet altijd bij aan wederzijds begrip tussen klager en wederpartij. 42% van 
de respondenten stelt dat tussenkomst van de CvAE niet leidt tot wederzijds begrip; 14% stelt dat dit wel leidt §6.i 

tot wederzijds begrip. In gesprekken wordt als verklaring genoemd dat klagers en beklaagden bij de 
behandeling van de klacht geen contact met elkaar hebben. Daardoor vindt geen uitwisseling van standpunten 
plaats. 

Meerdere gesprekspartners denken dat de CvAE vaker kan bijdragen aan wederzijds begrip tussen klager en 
wederpartij wanneer de CvAE vaker bemiddelt in plaats van adviseert. Van de mogelijkheid om te bemiddelen 
wordt in de praktijk nauwelijks gebruik gemaakt (er is bij vier van de 163 ingediende klachten bemiddeld). De 

§5.2 

CvAE ziet slechts bij uitzondering mogelijkheden voor bemiddeling, omdat het aanbestedingsrecht strikte 
bepalingen kent waar het gaat om bilateraal contact tussen aanbestedende diensten en inschrijvers. Deze visie 
van de CvAE wordt niet door alle gesprekspartners gedeeld. 

Bij de behandeling van aanbestedingsklachten is sprake van een complexe balans tussen snelheid, 
zorgvuldigheid, laagdrempeligheid en impact. 

De focus die de CvAE in de huidige werkwijze legt op zorgvuldigheid gaat ten koste van de snelheid van het 
adviesproces. Daardoor komen de kwalitatief hoogstaande adviezen van de CvAE soms te laat beschikbaar. 
Gesprekspartners doen twee suggesties om de impact van de adviezen verder te vergroten met behoud van 
zorgvuldigheid en laagdrempeligheid: §3.2 

• De CvAE zou kunnen overwegen om (op verzoek van de klager) een 'spoed' advies uit te brengen 

wanneer de kritieke termijn van de aanbestedingsprocedure hiertoe aanleiding geeft. Aandachtspunt is 
dat een minder uitgebreid advies niet ten koste mag gaan van de zorgvuldigheid en daarmee de 
gezaghebbendheid van de CvAE. 
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• Een tweede suggestie is om binnen een klacht eerst te adviseren over de deelklachten met de grootste 
prioriteit en de overige deelklachten pas daarna te behandelen. Zo kan in ieder geval op de 'pijnpunten' 
binnen de termijnen advies worden gegeven. 

Door enkele gesprekspartners is ook de suggestie gedaan om de CvAE formele bevoegdheden toe te kennen. 

Hiermee kan de doorwerking op twee manieren worden vergroot: (1) wanneer de CvAE de bevoegdheid zou 
hebben om aanbestedingsprocedures stil te leggen, kan ze vaker binnen de termijnen adviseren en (2) met 
een bindend advies komt de daadwerkelijk oplossing van de aanbestedingsklacht binnen de directe 
invloedssfeer van de CvAE te liggen. 

Het toekennen van formele bevoegdheden heeft volgens gesprekspartners echter als nadeel dat het koste kan 
gaan van het laagdrempelige karakter van de CvAE. Bovendien zouden procedurele aspecten bij een juridisch 
bindend oordeel een grotere rol gaan spelen en tot vertraging kunnen leiden. Ook wordt aangegeven dat 
aanbestedende diensten door het ontbreken van formele bevoegdheden geen of minder gezichtsverlies 
ervaren bij de opvolging van adviezen. Wanneer een beklaagde in het ongelijk wordt gesteld kan hij zelf 
bepalen of hij het advies (deels) opvolgt. Klagers zouden op hun beurt minder risico lopen op het beschadigen 
van de relatie met de beklaagde. 

Gesprekspartners zijn over het algemeen van mening dat de voordelen van het ontbreken van formele 
bevoegdheden opwegen tegen de nadelen; de CvAE dient haar laagdrempelige karakter te behouden. Het 
toekennen van formele bevoegdheden kan leiden tot formalisering en juridisering van de klachtenprocedure 
van de CvAE. Daarmee zou het onderscheidende karakter ten opzichte van een gerechtelijke procedure komen 
te vervallen. 

Conclusie 2. De adviezen van de Commissie van Aanbestedingsexperts brengen in 
beperkte mate een leereffect teweeg bij ondernemingen en aanbestedende diensten. De 
adviezen leveren wél een bijdrage aan de professionalisering van de 
aanbestedingspraktijk. 

We baseren deze conclusie op de volgende drie bevindingen: 

Het leereffect van de adviezen van de Commissie van Aanbestedingsexperts op direct betrokkenen bij ^ 

adviezen is beperkt. 

Op grond van de enquête en percepties van gesprekspartners blijkt dat adviezen van de CvAE in beperkte 
mate een leereffect teweeg brengen. Adviezen leiden maar in beperkte mate tot aanpassingen in de 
betreffende aanbestedingsprocedure (24%) en het algemene aanbestedingsbeleid (9%) van de betrokken 
aanbestedende dienst. In de voorgaande alinea's wordt een aantal verklaringen gegeven voor deze beperkte 
doorwerking. Ook het leereffect in andere / navolgende procedures is beperkt. Zo geeft 14% van de 
aanbestedende diensten aan naar aanleiding van een gepubliceerd advies van de CvAE concrete wijzigingen te 
hebben doorgevoerd in een aanbestedingsprocedure (66% niet). 7% van de respondenten van aanbestedende 
diensten geeft aan dat een advies heeft geleid tot een concrete wijziging van het algemene 
aanbestedingsbeleid van hun organisatie (76% niet). 

De adviezen van de Commissie van Aanbestedingsexperts leveren een bijdrage aan de professionalisering 

van de aanbestedingspraktijk. §6.2 

Respondenten zijn positief over de bijdrage van de CvAE aan de verbetering van de aanbestedingspraktijk. 

Bijna de helft van de respondenten van aanbestedende diensten (44%) is van mening dat de adviezen van de 
CvAE leiden tot een verbetering van de aanbestedingspraktijk. 18% is het hiermee niet eens. In gesprekken 
wordt benadrukt dat er wellicht wel doorwerking plaatsvindt van de adviezen, maar dat dit niet altijd zichtbaar 
hoeft te zijn in de aanbestedingsprocedure waar de klacht betrekking op heeft of in het algemene 
aanbestedingsbeleid. Inkopers bij aanbestedende diensten kunnen bijvoorbeeld wel hun kennis vergroten met 
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de adviezen, maar dit hoeft niet direct te leiden tot wijzigingen. Gesprekspartners zijn van mening dat de 
adviezen van de CvAE hebben geholpen bij de interpretatie van de Aanbestedingswet. 

De Commissie van Aanbestedingsexperts kan haar bijdrage aan het teweegbrengen van een leereffect en de 
professionalisering van de aanbestedingspraktijk verder vergroten, onder andere door meer 'concreet 
handelingsperspectief' te bieden. 

Gesprekspartners zijn van mening dat de adviezen van de CvAE van hoge kwaliteit zijn. Wel merken veel 
gesprekspartners op dat de adviezen nog in onvoldoende mate een 'concreet handelingsperspectief bieden 
aan de betrokkenen. In algemene zin zou men graag zien dat de CvAE in haar adviezen naast het oordeel meer 
aandacht besteedt aan aanbevelingen (hoewel wordt erkend dat de CvAE eerdere kritiek op dit punt ter harte 
heeft genomen en hier al meer aandacht aan besteedt). Meer specifiek wordt gevraagd om inkoopinhoudelijk 
advies. Gesprekspartners merken hierbij op dat dit andere kennis van de leden van de CvAE of de ingezette 
experts vraagt. Voorts wordt aangegeven dat de bijdrage van de CvAE aan het teweegbrengen van een 
leereffect en professionalisering van de aanbestedingspraktijk kan worden vergroot door de adviezen beter te 
ontsluiten (bijvoorbeeld via toegankelijke samenvattingen en beschouwingen). 

Een kanttekening bij deze bevinding is dat de verwachtingen van belanghebbenden uiteenlopen, waar het gaat 
om de bijdrage van de CvAE aan het teweegbrengen van een leereffect en professionalisering van de 
aanbestedingspraktijk. Bij de instelling van de CvAE is niet afgesproken en vastgelegd hoe de drie 
doelstellingen zich tot elkaar verhouden. Ook wordt in (de Toelichting bij) het Instellingsbesluit geen definitie 
gegeven van de begrippen professionalisering en leereffect. De CvAE heeft de tweede en de derde 
doelstelling, met betrekking tot respectievelijk leereffect en professionalisering, geïnterpreteerd als 'afgeleide 
doelstellingen' van de eerste doelstelling, het bijdragen aan het oplossen van aanbestedingsklachten. Deze 
interpretatie is niet bij alle gesprekspartners bekend en wordt ook niet door alle gesprekspartners gedeeld. 


7.2. Doelmatige taakuitvoering 

Conclusie 3. De Commissie van Aanbestedingsexperts is een organisatie in ontwikkeling. Er 
zijn verschillende voorzieningen getroffen voor een doelmatige taakuitvoering. In het 
onderzoek zijn verschillende suggesties gedaan om de Commissie verder te 
professionaliseren. 

We baseren deze conclusie op de volgende drie bevindingen: 

De Commissie van Aanbestedingsexperts is een organisatie in ontwikkeling. 

De CvAE is ingesteld per 1 april 2013. Bij het instellen van de CvAE was beperkt vergelijkingsmateriaal 
beschikbaar, was er weinig tijd om de organisatie in te richten en was nog niet bekend hoeveel klachten er 
zouden binnenkomen en welke ondersteuning dat zou vergen. Om deze reden is gekozen voor een lichte 
inrichting bestaande uit twee parttime commissieleden en een pool van experts en het faciliteren van het 
secretariaat vanuit een bestaande organisatie met kennis van aanbestedingen (PIANOo). De CvAE beschrijft de 
beginperiode zelf als een 'greenfield operation', waarbij op basis van voortschrijdend inzicht nieuwe keuzes 
werden gemaakt. Een voorbeeld van een tussentijdse aanpassing is de langdurige, maar tijdelijke 
ondersteuning door een expert om opgelopen achterstanden weg te werken. 
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§ 3.1 

§ 3.3 


Van de mogelijkheid om experts in te zetten wordt in de praktijk weinig gebruik gemaakt. 

Bij de oprichting van de CvAE is gekozen om een pool van experts in te richten zodat het aantal (vaste) leden 
van de CvAE beperkt kon blijven. De pool bestaat uit 86 door de CvAE geselecteerde Commissie Experts en 
Branche Experts die in beginsel maximaal vijf uur aan een klacht besteden. In de praktijk worden de experts 
nog weinig ingezet. Tot 1 januari 2015 zijn 15 verschillende experts Ingezet bij 29 aanbestedingsklachten (op 
een totaal van 163 klachten). Uit de gesprekken met experts en de CvAE blijkt dat de inzet van de experts 
achterblijft bij de verwachtingen, omdat veel experts drukbezet zijn, de experts niet altijd over de benodigde 
kennis en expertise beschikken en de inzet van experts niet in alle gevallen leidt tot ontlasting van de CvAE. 

Om de capaciteit van de CvAE te vergroten en de doorlooptijden te verkorten is het volgens vrijwel alle 
gesprekspartners noodzakelijk om meer gebruik te maken van de experts. Een aantal experts geeft aan dat 
voor een doelmatigere inzet van de experts de frequentie van de inzet van experts moet worden verhoogd: 
hoe meer klachten een expert heeft behandeld, hoe minder tijd het de expert en de voorzitter en 
vicevoorzitter kost. Hierin dient echter een balans te worden gevonden met de beperkte tijd die experts 
beschikbaar hebben. Het vaker inzetten van een aantal experts kan betekenen dat de pool van experts kleiner 
wordt. Een aantal gesprekspartners benadrukt dat de CvAE de expertpool anders moet indelen Indien de 
benodigde kennis en expertise niet aanwezig is en/of de huidige experts de CvAE onvoldoende ontlasten. 

De Commissie van Aanbestedingsexperts heeft verschillende voorzieningen getroffen voor een doelmatige §3.i 

taakuitvoering. In het onderzoek zijn verschillende suggesties gedaan om de Commissie verder te § 3.3 

professionaliseren. 

De meeste gesprekspartners ervaren de werkwijze van de CvAE als doelmatig en benadrukken dat de leden 
veel werk verzetten In de beperkt beschikbare tijd. De CvAE heeft verschillende voorzieningen getroffen om 
doelmatig en professioneel te opereren: 

• Prioritering in het behandelen van aanbestedingsklachten. De CvAE maakt onderscheid tussen klachten 
met een niet-kritieke termijn en klachten met een kritieke termijn. Prioritering vindt plaats door 
klachten met een kritieke termijn, waarbij het advies van de CvAE nog invloed kan hebben op het 
verloop van de aanbestedingsprocedure, met voorrang te behandelen. 

• Tijdelijke ondersteuning. Eén expert is langdurig ingezet ter ondersteuning van de CvAE. Deze expert is 
in de periode 2013-2014 13 keer ingezet bij het behandelen van een aanbestedingsklacht. 

• Onafhankelijkheid. De CvAE heeft verschillende voorzieningen getroffen om haar onafhankelijkheid te 
borgen. De CvAE toetst bij iedere ingediende klacht de onafhankelijkheid van beide leden en de 
betrokken experts. Dit is ook vastgelegd In het binnenkort uit te brengen nieuwe reglement (2015). 

Wanneer één van de leden geconflicteerd is vindt tussen het geconflicteerde lid en het andere lid (en 
de secretaris) geen informatie-uitwisseling over de klacht plaats {'Chinese walls'). Wanneer belde leden 
geconflicteerd zijn (of de schijn van partijdigheid tegen hebben) wordt de klacht niet in behandeling 
genomen. 

Naast de suggestie om meer gebruik te maken van de pool van experts, zijn er door gesprekspartners en 
respondenten verschillende suggesties gedaan om de organisatie verder te professionaliseren en invulling te 
geven aan de verbeterpunten die zijn genoemd in de vorige paragraaf over doeltreffendheid (bijvoorbeeld 
verkorting doorlooptijden en vergroting bekendheid): 

• Versterking inhoudelijke rol van het ambtelijk secretariaat. De leden van de CvAE en een aantal experts 
geven aan dat zij doelmatiger kunnen worden ingezet als de inhoudelijke rol van het ambtelijk 
secretariaat van de CvAE in de klachtenprocedure wordt versterkt (analoog aan het advocaat-staglaire 
model van advocatenkantoren). Hierbij gaat het bijvoorbeeld om het verzamelen van Informatie en het 
samenstellen van het feitenrelaas 
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• Professionalisering en uitbreiding van het secretariaat. Naast de verdere ontwikkeling van de 
inhoudelijke rol van het ambtelijk secretariaat is er vanuit het secretariaat en de CvAE behoefte aan 
professionalisering van de ondersteuning vanuit het secretariaat. Met name de ICT-systemen vormen 
een aandachtspunt. Voorts bestaat er bij de CvAE behoefte aan uitbreiding van de capaciteit van het 
secretariaat, om zo de doorlooptijden van adviezen te kunnen verkorten, bestaande achterstanden weg 
te kunnen werken en de bekendheid van de CvAE te kunnen vergroten (onder andere door 
uitgebrachte adviezen te ontsluiten). 

• Borging van voorzieningen. Sommige voorzieningen die de CvAE heeft getroffen zijn niet vastgelegd in 
procedures en daardoor niet 'verankerd' in de organisatie. Dit geldt bijvoorbeeld voor de prioritering 
van klachten en een aantal voorzieningen om de onafhankelijkheid te borgen (zoals de ‘Chinese wails'). 
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Bijlage 1. Resultaten enquête 


In deze bijlage worden de enquêteresultaten weergeven. Bij de respons op de enquête hebben we 
onderscheid gemaakt tussen twee type belanghebbenden, namelijk direct betrokken belanghebbenden en 
niet direct betrokken belanghebbenden. Voor direct betrokken belanghebbenden is de enquête verspreid via 
de contactgegevens die bij de CvAE bekend zijn. Voor niet direct betrokken belanghebbenden is de enquête 
via de volgende organisaties verspreid: TenderNed, NEVI, VNO/NCW, Aanbestedingsinstituut Bouw & Infra, 
Aanbestedingsmakelaar en de NVvA. 


Ik ben werkzaam: 



■ Bij een aanbestedende dienst 


■ Als ondernemer/ bij een onderneming 


■ Bij een brancheorganisatie 


■ Als expert geselecteerd door de CvAE 


■ Als advocaat, adviseur en/of 
wetenschapper 


Figuur 1. Functie respondent (N = 981). 


Voor welk type organisatie bent u werkzaam? 




17% 

19% 

F 3% 


9% 

5% 1 


7% i 

14% 

1 



10% 



■ Rijksoverheid (kerndepartementen, 
Agentschappen/ZBO's) 

■ Provincie 

■ Waterschap 

■ Grote gemeente (>100.000 inwoners) 

■ Middelgrote gemeente (50.000-100.000 
inwoners) 

■ Kleine gemeente (<50.000 inwoners) 

■ Gemeentelijk samenwerkingsverband 

■ Speciaal-sectorbedrijf (voorheen 
nutssectoren) 

■ Anders 


Figuur 2. Type aanbestedende dienst (N = 365). 
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Wat is de omvang van uw onderneming in aantai werknemers? 



■ 1 (zzp'er) 

■ 2-10 werknemers 

■ 11-50 werknemers 

■ 51-100 werknemers 

■ 101-250 werknemers 

■ 251 -1.000 werknemers 

■ >1.000 werknemers 


Figuur 3. Type onderneming (N = 438). 


Wie zijn uw beiangrijkste opdrachtgevers binnen de overheid? 

294 



Figuur 4. Belangrijkste opdrachtgevers voor ondernemers (meerdere antwoorden mogelijk) (N = 438). 
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In welke sector is uw brancheorganisatie actief? 



Bouwnijverheid Industrie Informatie en Handel Horeca Zakelijke Anders 

communicatie dienstverlening 


Figuur 5. Sector waar brancheorganisatie actief is (meerdere antwoorden mogelijk) (N = 26). 


In welke mate bent u bekend met de mogelijkheid om een kiacht in te dienen over een 
aanbestedingsprocedure bij de CvAE? 



■ Goed bekend 


■ Beperkt bekend 


■ Niet bekend 


Figuur 6. Bekendheid van de CvAE (N = 942). 


Bent u betrokken geweest bij de behandeiing van een kiacht door de CvAE? Zo ja, op weike 

wijze? 


■ Klager, in behandeling genomen 

■ Klager, niet in behandeling genomen 

■ Beklaagde 

■ Expert 

■ Adviseur/advocaat/wetenschapper 


Figuur 7. Betrokkenheid bij klacht (meerdere antwoorden mogelijk) (N =184). 
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Welke actie heeft u toen ondernomen? 


Is het wel eens voorgekomen dat u 
ontevreden was over een 
aanbestedingsprocedure? 


■ Ja 

■ Nee 


Figuur 8. Respondenten die onbekend zijn met de CvAE. 
Ontevredenheid over aanbestedingsprocedure (N = 142). 




■ Geen actie 
ondernomen 


■ Contact opgenomen 
met aanbestedende 
dienst/onderneming 

■ Kort geding en/of 
rechtszaak 
aangespannen 

■ Anders 


Figuur 9. Respondenten die onbekend zijn met de CvAE. Actie 
bij ontevredenheid (N = 142). 


Mocht u in de toekomst een klacht hebben, hoe waarschijnlijk is het dat u contact zal 

opnemen met de CvAE? 

■ Zeer onwaarschijnlijk 

■ Onwaarschijnlijk 

■ Niet waarschijnlijk/ niet 
onwaarschijnlijk 

■ Waarschijnlijk 

■ Zeer waarschijnlijk 

■ Weet ik niet 

Figuur 10. Respondenten die onbekend zijn met de CvAE. Naar CvAE met toekomstige klacht (N = 92). 
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In hoeverre bent u het eens met de volgende stellingen? 


100 % 

90% 

80% 

70% 

60% 

50% 

40% 

30% 

20 % 

10 % 

0 % 



11% 




6% 




17% 











1 

44% 

■ 

50% 

■ 

50% 

■ 


6% 











22% 



17% 


22% 




22% 



11% 




6% 


11% 





6% 




Ik begrijp waarom mijn klacht niet in De CvAE gaf binnen een redelijke De CvAE heeft duidelijk gemotiveerd 
behandeling is genomen termijn uitsluitsel over het niet waarom de klacht waarbij ik betrokken 

behandelen van de klacht was niet in behandeling is genomen 

■ Zeer oneens «Oneens ■ Niet oneens/niet eens «Eens «Zeer eens 


Figuur 11: Respondenten die een klacht hebben ingediend die niet in behandeling is genomen. Stellingen over niet in behandeling 
genomen klachten (N = 18). 
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Zou u bij een klacht over een 
aanbestedingsprocedure (nogmaals) 
indienen bij de CvAE? 



I Ja 


I Nee 


I Weet ik niet 


Figuur 12. Respondenten die een klacht hebben ingediend die 
niet in behandeling is genomen. Klacht nogmaals indienen (N = 
18). 


Zou u bij een klacht over een 
aanbestedingsprocedure (nogmaals) 
indienen bij de CvAE? 



IJa 


I Nee 


I Weet ik niet 


Figuur 133. Respondenten die een klacht hebben ingediend die 
in behandeling is genomen. Klacht nogmaals indienen (N = 59). 


Bent u geadviseerd en/of ondersteund door 
een adviseur/advocaat bij het besluit om 
naar de CvAE te stappen met uw klacht? 


■ Ja 

■ Nee 

■ Weet ik niet 


Figuur 14. Respondenten die een klacht hebben ingediend die 
in behandeling is genomen. Advies gevraagd bij beslissen tot 
klacht indienen (N = 59). 



Paste de doorlooptijd van de behandeling 
van de klacht binnen de termijn(en) van de 
aanbestedingsprocedure? 


■ Ja 

■ Nee 

■ Onbekend 

■ Weet ik niet 


Figuur 15. Respondenten die direct betrokken waren bij de 
behandeling van een klacht. Doorlooptijd binnen termijnen 
procedure (N = 156). 



Bent u geadviseerd en/of ondersteund door 
een adviseur en/of advocaat bij het 
formuleren en indienen van uw klacht bij de 
CvAE? 



■ Ja 


■ Nee 


■ Weet ik niet 


Figuur 16. Respondenten die een klacht hebben ingediend die 
in behandeling is genomen. Ondersteuning bij het formuleren 
en indienen van de klacht (N = 59). 


Was de aanbestedende dienst / uw 
organisatie bereid om de termijn(en) 
binnen de aanbestedingsprocedure te 
verlengen? 

■ Ja 

■ Nee 

■ Dit was niet nodig 

■ Weet ik niet 


Figuur 17. Respondenten die direct betrokken waren bij de 
behandeling van een klacht. Bereidheid aanbestedende 
dienst om termijnen te verlengen (N = 148). 



KWINK 


GROEP 


58 













Figuur 18. Respondenten die direct betrokken waren bij de behandeling van een klacht. Klacht gegrond verklaard (N = 148). 


Geef aan in hoeverre u tevreden bent over de volgende aspecten van de dienstverlening van de 

CvAE 


100 % 

90% 

80% 

70% 

60% 

50% 

40% 

30% 

20 % 

10 % 

0 % 



7% 


12% 

1 

43% 

H 

15% 

H 

15% 


8% 


6 % 

10 % 

34% 

16% 

25% 

9% 


7% 

28% 

35% 

13% 

9% 

8 % 


7% 

20 % 

32% 

18% 

13% 

10 % 


De termijn waarbinnen de CvAE De doorlooptijd van de behandeling De zorgvuldigheid waarmee de CvAE De kwaliteit van de bemiddeling/ het 
uitsluitsel heeft gegeven over het in van de klacht de klacht heeft behandeld advies van de CvAE 

behandeling nemen van de klacht 


■ Zeer ontevreden ■ Ontevreden ■ Niet ontevreden/ niet tevreden ■ Tevreden ■ Zeer tevreden ■ Weet ik niet 


Figuur 19. Respondenten die direct betrokken waren bij de behandeling van een klacht. Stellingen over dienstverlening (N = 124). 
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In hoeverre bent u het eens met de volgende stellingen? 


100 % 

90% 

80% 
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0 % 



6% 

■ 

16% 

1 

30% 

■ 

10% 

1 

21% 

■ 

18% 


22 % 

5% 

9% 

23% 

24% 

18% 


7% 

14% 

10 % 

14% 

27% 

28% 


19% 

4% 

5% 

16% 

23% 

32% 


De CvAE heeft bijgedragen aan De bemiddeling/ het advies van De uitkomst van de 

het oplossen van de de CvAE heeft geleid tot klachtenprocedure bij de CvAE 

aanbestedingsklacht waarbij ik wederzijds begrip tussen klager heeft geleid tot een concrete 
betrokken was en wederpartij wijziging in de betreffende 

aanbestedingsprocedure 


De uitkomst van de 
klachtenprocedure bij de CvAE 
heeft geleid tot een concrete 
wijziging in het algemene 
aanbestedingsbeleid van de 
aanbestedende dienst 


■ Zeer oneens ■ Oneens ■ Niet oneens/niet eens HEens ■ Zeer eens ■ Weet ik niet 


Figuur 20. Respondenten die direct betrokken waren bij de behandeling van een klacht. Stellingen over uitkomsten (N = 124). 


Verbetering 

Aantal 

De keuze van de procedure 


Samenvoegen of niet splitsen opdracht 


Selectiecriteria en het selectieproces 


Programma van eisen (bestek, inclusief conceptvoorwaarden) 


Minimum geschiktheidseisen 


Gunningscriteria en het beoordelen van biedingen 


Gunningsbeslissing en de motivering daarvan 


De aanbesteding is uitgesteld 


Communicatie door aanbestedende dienst 


Weet ik niet 


Anders 



Tabel 1. Respondenten die direct betrokken waren bij de behandeling van een klacht. Veranderingen in procedure (meerdere antwoorden 
mogelijk) (N = 46). 
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In hoeverre bent u het eens met de volgende stellingen? 


100 % 

90% 

80% 

70% 

60% 

50% 

40% 

30% 

20 % 

10 % 

0 % 


1 

31% 

1 

21% 

1 

33% 

H 

11% 


3% 


28% 


35% 




19% 


13% 

36% 


28% 




12% 


19% 

4% 

1% 

4% 


27% 

14% 

35% 

15% 

8 % 


De CvAE is een deskundig De CvAE is een onafhankeiijk De door de CvAE geseiecteerdeHet indienen van een kiacht bij 
orgaan voor de behandeiing orgaan aanbestedingsexperts zijn de CvAE is iaagdrempeiig 

van aanbestedingskiachten gezaghebbend 


■ Zeer oneens ■ Oneens ■ Niet oneens/niet eens ■ Eens ■ Zeer eens ■ Weet ik niet 


Figuur 21. Respondenten die bekend zijn met de CvAE. Steliingen over positionering CvAE (N = 831). 


In hoeverre bent u het eens met de volgende stellingen? 




De CvAE vormt een aanvulling op andere Door de mogelijkheid om een klacht in te 


mogelijkheden om een klacht in te 
dienen 


dienen bij de CvAE is mijn organisatie 
minder geneigd om een kort geding of 
een rechtszaak aan te spannen 



Een aanbestedende dienst of 
onderneming is bevaelijker voor een 
klacht wanneer één van de partijen 
aangeeft naar de CvAE te willen stappen 


iZeer oneens 


I Oneens 


I Niet oneens, niet eens 


I Eens 


I Zeereens 


I Weet ik niet 


Figuur 22. Respondenten die bekend zijn met de CvAE. Stellingen over verhouding klacht CvAE tot andere opties (N = 831). 
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In welke mate bent u bekend met de gepubliceerde adviezen van de CvAE? 



I Goed bekend 
I Beperkt bekend 
I Niet bekend 


Figuur 23. Respondenten die bekend zijn met de CvAE. Bekendheid met gepubiiceerde adviezen van CvAE {N=831). 


in hoeverre bent u het eens met de voigende steiiingen? 


100 % 


80% 


60% 


40% 


20 % 


0 % 



De adviezen van de CvAE raadpieeg ik De adviezen van de CvAE zijn begrijpeiijk De adviezen van de CvAE zijn bruikbaar 
regeimatig 

■ Zeer oneens ■ Oneens ■ Niet oneens/niet eens ■ Eens ■ Zeer eens 


Figuur 24. Respondenten die bekend zijn met de adviezen van de CvAE. Steiiingen over adviezen CvAE (N = 560). 
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100 % 
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20 % - 

10 % 

0 % 


In hoeverre bent u het eens met de volgende stellingen? 


1 % 


1 % 


2 % 


2 % 



De adviezen van de De adviezen van de De adviezen van de De adviezen van de De adviezen van de De adviezen van de 


CvAE beiichten de 
verschiiiende 
standpunten goed 


CvAE zijn goed CvAE bevatten CvAE zijn praktisch CvAE voegen iets toe 
onderbouwd vernieuwende toepasbaar ten opzichte van 

inzichten jurisprudentie over 

de toepassing van 
aanbestedingsregeis 

I Zeer oneens ■ Oneens ■ Niet oneens/niet eens ■ Eens ■ Zeer eens 


CvAE zijn 
zwaarwegend 


Figuur 25. Respondenten die bekend zijn met de adviezen van de CvAE. Steilingen over houding (N = 560). 


In hoeverre bent u het eens met de volgende stellingen? 


100 % 

80% 

60% 

40% 

20 % 

0 % 


20 % 


66 % 


17% 


76% 


38% 

18% 


14% 


7% 


44% 


Door het advies van de CvAE heeft mijn 
organisatie een concrete wijziging 
doorgevoerd in een specifieke 
aanbestedingsprocedure 


Een advies van de CvAE heeft geieid tot 
een concrete wijziging in het aigemene 
aanbestedingsbeleid van mijn organisatie 


De adviezen van de CvAE leiden tot een 
algemene verbetering van de 
aanbestedingspraktijk in Nederland 


■ Ja ■ Nee ■ Weet ik niet 


Figuur 26. Respondenten die bekend zijn met de adviezen van de CvAE. Stellingen over gedrag (N = 268). 
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Bijlage 2. Selectie casestudies 


In 2014 zijn er 110 klachten ingediend bij de CvAE. Hiervan zijn reeds 19 adviezen gepubliceerd op de website 
van de CvAE. We hebben een drietal klachten uit 2014 meer diepgaand behandeld in een casestudie door de 
beschikbare documenten te bestuderen en gesprekken te voeren met de klagers, beklaagden en een betrokken 
expert. De bestudeerde klachten waren reeds gepubliceerd op de website van de CvAE. Het doel achter de 
casestudies was om een zo goed mogelijk beeld van de werkwijze van de CvAE en de bijdrage daarvan aan de 
doelstellingen te krijgen. We benadrukken dat hiermee geen inhoudelijke second opinion is beoogd. Bij de 
casusselectie is gebruik gemaakt van de volgende criteria: 

1. Spreiding naar indieners. De klachten zijn voornamelijk ingediend door MKB-ondernemers en 
grootbedrijven. Er zijn ook enkele klachten ingediend door brancheorganisaties. Er zijn twee klachten 
bestudeerd die zijn ingediend door het MKB en één die is ingediend door een grootbedrijf. 

2. Betrokkenheid expert. Bij een aantal klachten zijn experts betrokken. Bij het merendeel van de klachten 
zijn echter geen experts betrokken. Er zijn twee klachten behandeld waarbij geen expert betrokken was 
en één klacht waarbij dit wel het geval was. 

3. Spreiding naar inhoud klachten. De ingediende klachten hebben betrekking op verschillende aspecten 
van aanbestedingsprocedures zoals op de gunningsbeslissing en de motivering of op het programma van 
eisen. De meeste klachten gaan over meerdere onderwerpen. Er zijn klachten bestudeerd die meerdere 
onderwerpen bevatten. 

4. Spreiding naar doorlooptijd klachten. Er zijn klachten bestudeerd met zowel korte als lange 
doorlooptijden. 

5. Spreiding naar uitkomsten. Klachten bestaan vaak uit meerdere deelklachten. De (deel)klachten kunnen 
gegrond of niet-gegrond zijn verklaard door de CvAE. Uit de gegevens blijkt dat ongeveer evenveel 
(deel)klachten gegrond als niet-gegrond zijn verklaard. Er is één klacht behandeld die gegrond is 
verklaard, één klacht die niet-gegrond is verklaard en één klacht die gedeeltelijk gegrond en niet- 
gegrond is verklaard. 

6. Spreiding naar vervolg. Klagers kunnen de keuze maken om naar de rechter te stappen en een kort geding 
te starten. Er is reeds een aantal zaken bekend waar de rechter een uitspraak heeft gedaan en daarin het 
advies van de CvAE heeft meegenomen. We hebben één klacht bekeken waarbij na het advies een 
rechterlijke uitspraak volgde, alhoewel dit geen representatieve weergave is van de praktijk. 



Casus 1 

Casus 2 

Casus 3 

Klager (indieners klachten) 

MKB 

Grootbedrijf 

MKB 

Beklaagde 

Middelgrote gemeente 

Gemeentelijk 

samenwerkingsverband 

Grote gemeente 

Expert betrokken? 

Ja 

Nee 

Nee 

Onderwerp klachten 

Gunningsbeslissing en 
motivering 

Programma van eisen 
Proportionaliteit van 

contractvoorwaarden 

Samenvoegen of splitsen 
opdracht 

Doorlooptijd klacht in dagen 

34 

17 

21 

Uitkomst 

Gegrond 

Gegrond/niet-gegrond 

Niet-gegrond 

Vervolg (uitspraak rechter) 

Nee 

Ja 

Nee 
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Bijlage 3. Gesprekspartners 


In deze bijlage is een overzicht gegeven van de gesprekspartners waarmee is gesproken voor de evaluatie. In de 
eerste kolom staat de organisatie namens wie personen zijn gesproken. In het geval van COAB ging het om een 
groepsgesprek. Daarnaast is er contact geweest over de aangeleverde gegevens van de CvAE met Marion 
Pieper en Jacobien Muntz-Beekhuis van het secretariaat van de CvAE. 


Organisatie 

Gesprekspartner(s) 

Betrokkenheid 

Commissie van 
Aanbestedingsexperts 

Joop Janssen en Chris Jansen 

Voorzitter 

Vicevoorzitter 

Ministerie van Economische 

Zaken 

Aimée Verhulsdonck 

Maurits Berger 

Wetgever 

NEVI Publiek 

Ton van Geijlswijk 

Inkoop 

COAB (VNO-NCW) 

Emile Rodenhuis, Meriam de 

Koning, Tineke Donga, Nelleke van 
Thiel, Nico Koch, Dick van Werven, 
Eric de Greef, Vicky van Egmond en 
Laurens te Vrijer 

Brancheorganisatie 

Houthoff Buruma en Universiteit 

Leiden 

Jan Michiel Hebly 

Advocaat/wetenschapper 

Universiteit Twente 

Jan Telgen 

Wetenschapper 

Pels Rijcken 

Pieter Stuijt 

Advocaat 

AKD en Radboud Universiteit 
Nijmegen 

Pieter Kuypers 

Advocaat/wetenschapper/expert 

CMS Netherlands 

Petra Heemskerk 

Advocaat/expert 

Stichting RIJK 

Ditmar Waterman 

Expert 

Dolmans-Budé legal BV 

Ingrid Dolmans-Budé 

Adviseur 
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Bijlage 4. Leden 
begeleidingscommissie 


Hieronder een overzicht van de leden in de begeleidingscommissie. 


Organisatie 

Naam 

Ministerie van Economische Zaken 

Annet Jonk (voorzitter) 


Willemijn Noordhoek 


Aimée Verhulsdonck 

Gemeente Rotterdam 

Mieke Slingerland 

Universiteit Leiden 

Franke van der Klaauw 

UNETO-VNI 

Margreet van Deurzen 
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